跳到正文
10月7日周三
  1. GitHub · 去对齐工具与仓库40

    Jossiaah/slm-benchmarking-agent:基于 Ollama 的开源小模型基准评测框架

    Jossiaah/slm-benchmarking-agent 是一个面向通过 Ollama 本地运行的开源小语言模型(SLM)的性能评测框架,通过 httpx 异步流式遥测捕获 TTFT 与 token 生成吞吐,并用正则规则校验输出 JSON 的结构对齐。框架内置双模式容错,本地 GPU 通信失败时可回退到模拟指标生成器实现开箱即用,并集成 pytest-asyncio 与 GitHub Actions 定时任务做自动化回归测试。

  2. GitHub · 去对齐工具与仓库68

    GamePause:Windows 托盘工具,游戏时自动卸载本地 AI 模型释放显存

    Vkuparin 在 GitHub 发布 GamePause,一款原生 Windows 托盘应用,游戏启动时自动卸载 LM Studio 和 Ollama 已加载的模型,游戏退出 30 秒后按原配置恢复。支持 Steam、Epic、Xbox、EA、Ubisoft Connect 和 Battle.net 自动识别游戏,LM Studio 模型按原 identifier、variant、TTL 和加载配置完整恢复,Ollama 的 GGUF 补全模型会连同上下文和剩余 keep-alive 时间重载,嵌入模型和未知格式模型只卸载不重载。卸载内容先写入磁盘,崩溃后可恢复;本地运行、无遥测,MIT 许可,已测试 LM Studio 0.4.25 和 Ollama 0.35.1、0.40.0。

    推荐理由:原文给出了各 AI 服务器的恢复细节和已测版本清单,读者可据此判断该工具在自己环境下的可用程度。

  3. GitHub · 灵魂体仓库46

    开源 Rust SDK Laminae:为 LLM 应用加防护层的项目已归档,核心组件并入 Thunder

    Laminae 是一个开源模块化 Rust SDK,为任何 AI/LLM 应用提供防护、安全、人格、语音、学习与隔离层,支持 Claude、GPT、Ollama 等任意后端。其 Psyche 多智能体认知管道用本地小模型(Ollama)做 Id/Superego 塑形,Persona 支持 7 维风格提取和含 60+ AI 短语模式的语音过滤,Cortex 无需微调即可从用户修改中学习 8 类模式。该项目现已归档,Cortex、Glassbox、Ironclad 已并入多智能体编码编排器 Thunder。

  4. GitHub · 灵魂体仓库21

    AI-FACT-CHECKING-SYSTEM:基于 LIAR 数据集的事实核查系统

    一个基于 LIAR 数据集的开源事实核查系统,结合 BM25 稀疏检索与 FAISS 稠密检索定位相似声明,并用 LIAR 微调的 BERT 分类器做六分类真实性预测。系统可通过 Ollama 本地 LLM(如 gemma3:4b-it-qat)生成回复,也可回退到模板生成;索引缓存到磁盘后,启动时间从约 30-60s 降至 2-3s。项目部署在 Streamlit,分类模型 unshDee/liar_qa 可从 Hugging Face 下载。

  5. GitHub · 灵魂体仓库56

    MuckScraper 开源:自托管新闻聚合器,用本地 LLM 做故事聚类与媒体偏向分析

    grregis 在 GitHub 发布 MuckScraper,一个自托管新闻聚合器,可从多个信源抓取文章、按 pgvector 把相关报道聚类成同一事件故事,并用 AllSides 数据或本地模型给媒体标注左中右偏向。系统默认用 Ollama 在本地硬件上生成摘要和深度报告,也支持 Gemini、Groq 或任何 OpenAI 兼容端点(OpenRouter、DeepSeek、本地 vLLM);一次完整管线约1200次 LLM 调用,其中约1140次机械性调用可用较小模型分流到本地。技术栈为 Python、Flask、PostgreSQL+pgvector、Meilisearch,通过 Docker Compose 部署,管理员可在后台无需改代码地编辑主题、RSS 源、提示词与调度。

    推荐理由:项目把约1140次机械性LLM调用留在本地Ollama、只把约65次摘要调用交给云端,这种分层路由做法可以直接借鉴到类似自托管管线。

  6. GitHub · 灵魂体仓库43

    Jekyll 插件 jekyll-client-search:为客户端搜索生成 JSON 索引

    gundestrup 发布 Jekyll 插件 jekyll-client-search(v0.1),可在构建时生成 JSON 文档索引,支持 MiniSearch、ElasticLunr 词法搜索及通过本地 Ollama 预计算 embeddings 的语义搜索。默认零配置即可启用 MiniSearch 和实时搜索,还可基于共享 tags、categories 和向量相似度在构建时生成相关文章。

  7. GitHub · 灵魂体仓库57

    Oberton 发布:Windows 全本地 AI 听写工具,Whisper 加 Ollama 清理

    作者在 GitHub 发布了 Oberton(前身为 Local Dictation),一款 Windows 全本地 AI 听写工具,按热键说话后经 faster-whisper 转写、Ollama 本地模型(默认 qwen2.5:3b)清理文本并插入任意应用,默认 Keep everything offline,无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key;NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒,CPU 约 8 秒(Ryzen 7 5800HS 实测),另含 Ctrl+Shift+Space 本地朗读功能,支持 Kokoro v1.0、Piper 和 Windows 语音,MIT 协议开源。

    推荐理由:这是一个默认全离线的 Windows 听写开源工具,给出了模型组合、显存占用与实测延迟,便于本地部署参考。

  8. GitHub · 灵魂体仓库70

    Inferpal 发布:基于本地大模型的 Visual Studio 2026 与 VS Code 智能体编程助手

    EstaxNet 开源了 Inferpal(GPL v3),一个完全由本地大模型(Ollama、LM Studio 或任何 OpenAI 兼容服务器)驱动的 Visual Studio 2026 与 VS Code 智能体编程助手,无需 API key、遥测或云依赖。它内置 28 个工具并支持 MCP 与自定义 shell 工具,所有写入和命令都需审批并受工作区沙箱约束;提供 FIM 行内补全、混合检索的语义代码搜索、调试器驱动的 /tdd 循环(12 例基准上用本地 27B 模型 12/12 修复,无调试器时 10/12)、Roslyn 编译器级符号分析、/branch 会话分支和 Context X-Ray 上下文透明面板。

    推荐理由:这是本地模型的 IDE 智能体完整实现,审批门、沙箱和调试器驱动的 TDD 循环等设计可以直接参考迁移。

  9. GitHub · 去对齐工具与仓库38

    chrisdothtml 开源 ai-job-finder:用 Agentic LLM 工作流自动筛选职位

    开发者 chrisdothtml 在 GitHub 开源 ai-job-finder,通过 @chrisdothtml/job-scraper 抓取公司职位,经过滤 Agent 和分析 Agent 生成匹配度评分与优缺点。项目支持 Ollama 离线运行,默认模型为 gpt-oss:20b,也可接入 Claude 或 ChatGPT 的 API;作者在 RTX 4090 上全量公司分析约需 8.5 小时,单家公司约 5-10 分钟。

  10. GitHub · 去对齐工具与仓库46

    EchoHerd:多智能体社交传播模拟引擎 charan820/PhantomCrowd-Simulacra

    EchoHerd 是一个多智能体社交传播模拟器,用数千个具有不同偏见、注意力时长和社交图谱位置的 persona agent 模拟信息在人群中的放大、扭曲与衰减。它基于 LightRAG 知识图谱和图记忆架构,输出语义漂移分数、内容半衰期与共鸣预测,支持干预沙盒和 JSON/CSV/GIF 导出。引擎通过 Ollama 兼容后端完全本地运行,支持 Mistral、Llama 3、Qwen 等 7B+ 参数模型,无需云端或外部 API。

  11. GitHub · 灵魂体仓库55

    AliKaganAlbayrak 开源本地 LLM 工厂日志分析系统 local-llm-manufacturing-analytics

    作者开源了一套隐私优先的工厂机器日志分析系统 local-llm-manufacturing-analytics,用 SQL 计算精确的生产与质量指标,Isolation Forest 检测异常并给出根因解释,本地 Ollama 运行的 Llama 3 8B 仅负责解读数字,全程无云 API、无按次成本。项目源自作者 2026 年暑期在某制造公司研发部门的实习系统,曾在 50 万+ 真实日志记录上运行并获批内部使用与第二阶段开发,仓库版本以同结构合成数据重新实现。

    推荐理由:作者把算术交给 SQL、解释交给本地 Llama 3,并给出索引前后基准数据,方案对预算和隐私敏感的部署场景可直接参考。

  12. GitHub · 去对齐工具与仓库35

    k8s-llm-hosting:在 Kubernetes 集群本地托管 LLM 与 Agent 的方案

    k8s-llm-hosting 项目提出在 Kubernetes 集群本地托管 LLM、Agent 与 UI,通过共享卷下载模型、ollama/llama.cpp 部署挂载单一模型,并基于业务指标用 HPA 扩缩容。方案采用 CRD 定义模型实例,用 tinyLLM Proxy、Traefik 中间件或 Envoy 按请求中的 model 字段路由流量,配合 Open WebUI 测试界面和 Grafana/Loki 监控。文中给出 Gateway API、Traefik、模型下载(如 qwen2.5-coder:1.5b、qwen3:0.6b)及 kubectl-ai 接入的完整安装步骤。

  13. GitHub · 去对齐工具与仓库31

    OPENCLAW_LOCAL_FEDORA:在本地 PC 上用 Qwen 3.5 9B 学习基础设施与 DevOps 的开源项目

    GitHub 上的个人项目 OPENCLAW_LOCAL_FEDORA 面向 Fedora 44 机器(Ryzen 7 7700、48 Go 内存、Intel Arc B580 12 Go),用本地运行的 Qwen 3.5 9B Q4_K_M 模型帮助用户学习、设计并验证基础设施项目,以减少对 Claude 和 ChatGPT 订阅的依赖。系统设七个专用角色,上下文限制 8192 tokens、回复 1024 tokens,通过 Open WebUI(127.0.0.1:3000)和项目工作台(127.0.0.1:18890)本地访问。项目明确表示不承诺达到顶级云端模型的质量,V1 尚未获得认证,ShellCheck、yamllint 等静态检查工具不会部署任何东西。

  14. GitHub · 去对齐工具与仓库43

    Upleveler:面向开发者的本地 AI 工作日志与晋升工具

    开源工具 Upleveler 为软件开发者提供工作日志:记录日常工作后,它会对照公司职级阶梯分析差距,并生成晋升文档。AI 通过 Ollama 本地运行(默认模型 gemma3:12b),也可配置 OpenAI 兼容端点,数据全部留在本地 ~/.upleveler/ 目录,无云端和遥测。安装需 Rust 1.82+ 和约 16 GB 内存,支持 /gap、/brag、/summary 等命令及浏览器 dashboard,采用 AGPL v3.0 许可证。

  15. GitHub · 去对齐工具与仓库55

    ORBIT v2.18.0 开源:自托管 AI 后端统一连接私有数据与工具型 Agent

    schmitech 发布 ORBIT(Open Retrieval-Based Inference Toolkit)v2.18.0,一个用于私有数据和工具型 Agent 的自托管 AI 后端,通过 YAML 配置的适配器连接文件、SQL、NoSQL、向量存储、API 和 MCP 工具,并在一个 OpenAI 兼容 API 后切换本地与托管模型。支持本地或私有云部署、气隙环境用本地模型,内置认证、配额、审计日志、供应商回退、监控和管理界面,采用 Apache License 2.0 许可,仓库地址 https://github.com/schmitech/orbit。

  16. GitHub · 灵魂体仓库62

    local-delegate 开源 用 MCP 把机械任务委托给本地 LLM 以节省 Claude 订阅配额

    作者发布 local-delegate,一个 MCP 服务器(stdio 或共享 HTTP daemon),可把摘要、分类、字段提取、样板代码等机械性文本任务委托给任意 OpenAI 兼容端点(llama-swap、Ollama、LM Studio、vLLM)上的本地模型,从而保留 Claude 订阅配额。

    推荐理由:这个 MCP 工具把机械性文本任务委托给本地模型以保留 Claude 订阅配额,还给出量化的上下文节省指标,部署思路可直接复用。

  17. GitHub · 去对齐工具与仓库58

    StreamingBoss 开源 myharness 本地 Agent harness 学习工具

    StreamingBoss 在 GitHub 发布 myharness,一个本地单用户学习用 Agent harness,支持浏览器与 Node 两种后端,默认通过本地 Ollama(qwen3:8b)推理,也可接入 Gemini、OpenAI 和 Claude。它提供主任务编排子任务、工具审批、MCP 服务器接入、git 与文件工具、tokenization 检查和会话导出,默认上限为每子任务 5 分钟、每目标 30 分钟、3 个并发子任务、10 轮和 200 次共享模型请求,可用 MYHARNESS_ORCHESTRATION_LIMITS 覆盖。浏览器版可打包为纯静态站点分发,无需后端;仓库地址 https://github.com/StreamingBoss/myharness。

    推荐理由:README 详细披露了编排上限、审批策略和各后端边界,读者可据此评估这个本地 harness 是否适合自己动手学习。

10月6日周二
  1. GitHub · 去对齐工具与仓库48

    highlords-daily:基于 Ollama 的本地 AI 日报生成工具(runawayez/highlords-daily)

    高lords-daily 是一个完全本地运行的 AI 策展日报工具,通过 Ollama 调用本地模型 qwen3:4b 对 RSS/Atom 聚合的新闻进行分类、翻译、摘要和 0 到 10 分的相关性评分,无需任何外部 AI API。工具按 LLM_MIN_SCORE=4.5 筛选稿件,再由「主编」环节选出头条并生成版面,最终输出 HTML、JSON 和 PDF 三种格式,默认预设包含 AI、开发、游戏、足球等 10 个编辑分类。

  2. Reddit · r/LocalLLaMA71

    Reddit 用户开源 Sentinel:用代码护栏而非提示词构建本地第二大脑

    Reddit 用户 /u/dimensionof0 开源了 the-sentinel(MIT 协议),一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统,防止模型自引输出导致知识库被污染。

    推荐理由:作者用实测数据对比了提示词与代码护栏的效果,并给出 6 GB 显存下的具体运行方案,方法可直接迁移到类似知识库项目。