跳到正文
10月9日周五
  1. GitHub · 去对齐工具与仓库60

    toroc07 开源 Windows 本地语音助手 ai-jarvis-assistant

    toroc07 在 GitHub 发布 ai-jarvis-assistant,一个全本地运行的 Windows 西班牙语语音助手,用 Ollama 跑 qwen3:8b,语音识别、合成和声纹验证都在本地完成,唯一可选外连是用户自配的 Claude API。项目重点在安全设计:所有操作经 guard.py 按 policy.yaml 白名单校验,删除进回收目录,支持 Ctrl+Alt+J 紧急停机且重启后仍保持停止;声纹用 ECAPA-TDNN 支持最多三名用户,两阶段验证。作者还给出实测笔记,如 Qwen3 4B 虽达 14.4 tok/s 但会倾倒内部独白,8B 为 10.7 tok/s,首次工具调用约 9 秒预热,常规件对话约 5 秒首词、带工具 12-16 秒,含 286 项测试。

    推荐理由:原文详细公开了权限守卫、策略白名单和紧急停机的设计与实测数据,可迁移到其他本地 Agent 的安全与工程决策。

  2. GitHub · 去对齐工具与仓库57

    tyama-ds 开源 Windows 智能体工作台 agent-workbench,支持 Local、OpenAI、Anthropic 混成团队协作

    tyama-ds 发布了 agent-workbench,一个在 Windows 11 上运行的智能体工作应用,供 Local LLM、OpenAI、Anthropic 使用,PM 创建作業者并分配角色,通过邮件协作汇总结果,支持同 API 角色团队和异 API 混成团队。项目仅提供源码版(MIT License),不内置 Python,需已授权的 64-bit CPython 3.11~3.13,通过 Setup.cmd / Launch.cmd 启动,默认端口 8818;从 0.1.1.dev23 起停止了 Python 内置版的制作与分发。

    推荐理由:这是一个支持 Local、OpenAI、Anthropic 混成团队的 Windows 智能体工作台,权限、预算与文件安全的实现细节写得相当具体,适合关心本地部署与多智能体协作的人参考。

  3. GitHub · 灵魂体仓库79

    co:op 开源:在沙箱容器中关闭权限提示运行 Claude Code、Codex 等编码智能体

    AndrewDryga 开源了 co:op,一个 Go 编写的沙箱工具,在容器内以关闭权限提示的方式运行 Claude Code、Codex、Gemini CLI 和 Grok。容器只挂载项目目录,SSH 密钥、云登录和 .env 均不进入盒内,过滤网络只放行 AI 提供商和已批准域名;提供任务队列 coop loop、fork 评审、多账号轮换、评估和 cosign 签名校验,支持 macOS 和 Linux(Docker),MIT 许可。

    推荐理由:README 讲清了沙箱隔离、密钥防护、过滤网络和任务队列的具体机制,读者可以据此评估无人值守跑编码智能体的可行方案。

  4. GitHub · 去对齐工具与仓库47

    ContextDaddy:面向 macOS 编码智能体上下文的本地优先控制台

    ContextDaddy 是一款本地优先的 macOS 控制台,用于管理编码智能体的上下文,可在不捕获提示词正文的情况下,发现 Codex、Claude、Cursor、Devin、Grok 五个智能体运行时可用的技能及调用方式。它提供用量、技能、记忆、项目和运行遥测等导航视图,所有数值标注为 measured、derived、estimated、partial 或 unavailable。当前里程碑覆盖五大运行时的技能有界发现、物理技能去重、按智能体的启动上下文估算,以及 Claude、Codex、Grok 的额度读取与本地历史图表。

  5. GitHub · 去对齐工具与仓库59

    Cactus Compute 发布端侧基础模型 Needle 3,权重开放在 Hugging Face

    Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3,整个模型是单个 8-29 MB 二进制文件,权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network,2 到 20 层每档深度都是可部署模型,在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现,并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle(16.9 MB,支持 7 种语言)。提供 needle finetune 本地 LoRA 微调与平台微调两种方式,DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。

    推荐理由:Cactus 官方开源了面向微型设备的 Needle 3,并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径,适合本地部署场景参考。

  6. GitHub · 去对齐工具与仓库47

    fish-ai:为 Fish shell 添加 AI 功能的开源插件

    开源插件 fish-ai 为 Fish shell 增加 AI 能力:注释与 shell 命令互转、命令补全和错误修复,仅需两个可配置的快捷键。它支持 Anthropic、OpenAI、Azure、AWS Bedrock、DeepSeek、Gemini、Groq、OpenRouter 等多种模型,也兼容自托管模型(如 Ollama 运行 Llama 3.3 70B)。项目约 2000 行代码,可通过 fisher 安装,已在 macOS 和主流 Linux 发行版上测试。

  7. GitHub · 灵魂体仓库45

    KubeVerdict:面向 SRE 的证据优先 Kubernetes 故障排查工具

    开源项目 KubeVerdict 为 SRE 与平台团队提供证据优先的 Kubernetes 根因分析(RCA):它从 Helm/GitOps 渲染清单重构预期状态,与实际集群对比产生漂移证据,再用 LLM 解释排序后的诊断,而非让模型直接猜测。所有修复命令须经人工审批并附带回滚方案,默认离线运行(Ollama + Mistral),CI 中已离线复现 11 个故障场景(h001–h010 + h012)。

  8. GitHub · 去对齐工具与仓库59

    hwdsl2/docker-mcp-gateway 发布:Docker 版自托管 MCP 网关镜像

    hwdsl2 在 GitHub 发布 docker-mcp-gateway 镜像,基于 MCPHub 加 Caddy 鉴权代理,可在单一 HTTP 端点后以 Bearer token 认证运行多个 MCP 工具服务器。首次启动自动生成 API key,支持 /mcp 路径按名称访问各服务器,内置 fetch、filesystem、GitHub、Brave Search、Git、PostgreSQL、memory、sequential-thinking 服务器,支持 Streamable HTTP 与 SSE 传输,提供 Web 仪表盘、env 文件配置、LiteLLM 集成与 docker-compose 示例,支持 linux/amd64 和 linux/arm64,MIT 许可证。

    推荐理由:README 提供了从启动命令到反代 HTTPS 的完整自托管 MCP 网关配置方法,想自建多服务器 MCP 端点的读者可以直接照着部署。

  9. GitHub · 去对齐工具与仓库66

    GD4AI 发布 Obsidian 插件 Karpathy LLM Wiki,把笔记变成可查询知识库

    GD4AI 在 GitHub 发布 Obsidian 插件 obsidian-llm-wiki,将 Karpathy 的 LLM Wiki 想法做成一键插件,用 LLM 从笔记中提取实体和概念生成交联 wiki 页面,不改写原始笔记。检索不用向量嵌入,而是基于 [[wiki-link]] 图的 5 级级联加 Monte Carlo Personalized PageRank,项目自有语料上 PPR @5 为 27.1% 对纯 kNN 基线 24.1%;插件支持 16+ 家 LLM 提供商、11 种界面与输出语言、v1.27.0 起内置 MinerU 后端支持 PDF、图片和 Office 摄取,可经 Ollama 或 LM Studio 完全本地运行,无后端无追踪。

    推荐理由:原文详细说明了用 Personalized PageRank 走 wiki-link 图替代向量 RAG 的取舍与实测数字,可作为个人知识库工具选型参考。

  10. Hugging Face · 新模型:abliterated33

    ThinkingCap-Qwen3.8-27B-abliterated UD-Q4_K_XL GGUF 量化版发布

    groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版,共 866 个张量,直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja,支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0,仓库声明不提供新的质量基准。

  11. Hugging Face · 新模型:abliterated64

    Maximilian228 发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 NVFP4 GPTQ 量化包

    Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包,全部路由专家用 GPTQ(而非 RTN)从 BF16 检查点量化,可在单张 RTX 20-50 显卡(12 GB 以上显存、64 GB 以上内存)上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上,GPTQ 的加权相对误差为 RTN 的 33.5%,48 层全部优于 RTN;实测 182.8 tok/s 解码、2810 tok/s prefill,解码成本与 RTN 持平。

    推荐理由:原文给出完整的 GPTQ 量化方法和 48 层误差对比数据,读者可以据此评估 NVFP4 消融模型的精度与部署成本。

  12. GitHub · 去对齐工具与仓库59

    PocketLLM 发布 v0.3.0:在 Android 上本地运行 GGUF 模型并提供 OpenAI 兼容 API

    PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载,在 Android 上本地运行 GGUF 模型,暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用,保证小模型输出的工具调用格式合法,并提供共享同一核心引擎的桌面 JVM CLI(chat/serve/agent)。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理;已知限制包括单模型串行推理、当前仅打包 arm64-v8a,且小于 500M 的模型参数内容质量较差。

    推荐理由:开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API,还给出采样时 GBNF 约束小模型工具调用格式的做法。

  13. GitHub · 去对齐工具与仓库46

    Luminary:基于本地文档的 local-first 学习工作区

    nupsea 开源学习工具 Luminary 是一款 local-first 学习工作区,可指向书籍、论文、视频或文章,提供带原文引用的问答、笔记、闪卡和 FSRS 复习调度,默认 Private 模式下全程离线运行、数据不出本机。支持 PDF、EPUB、docx、音频、视频、YouTube 等格式,需要 Apple Silicon Mac 或带 NVIDIA/AMD 显卡且至少 16 GB 内存的机器。填入 Anthropic、OpenAI 或 Google AI Studio 的 API key 可用托管模型加速回答,实测 M3 Pro 上本地模型(qwen3.5:4b)完整回答 14–37s,托管 6–11s。

  14. GitHub · 去对齐工具与仓库60

    brolm:bro 生态的纯 C++20 语言与文本模型推理库

    wlejon 在 GitHub 发布 brolm,一个纯 C++20 的语言与文本模型推理库,是 brodiffusion 的文本侧对应物,基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成,内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件,后端覆盖 CPU(FP32)、CUDA、Metal 和 Vulkan(FP16/BF16),可直接加载 safetensors 与 GGUF 权重(量化权重需 GPU 后端)。MIT 协议,Pre-1.0 版本,CI 只覆盖 CPU 构建且自包含测试通过,绿色构建不表示模型输出正确。

    推荐理由:README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式,并说明 CI 绿色并不代表模型输出正确。

  15. Reddit · r/LocalLLaMA62

    LoRA over GGUF:在 40G 显存中训练 Qwen3.8-Flash-Next

    作者更新其 LoRA over GGUF 系列,现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next(125B-A6B + 51B engram),engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it(200 token/s),距已实现的 >1600 token/s PP 还有优化空间;transformers 5.18 起已合并对现代 GGUF 的初步支持,作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化,多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe

    推荐理由:作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度,读者可复现这套 LoRA over GGUF 训练流程。

  16. GitHub · 灵魂体仓库50

    dddzzzq 开源 LLM_TEACH_ASSISTANT 智能教学助理

    作者开源了 LLM_TEACH_ASSISTANT,一个由 Go 后端、Python AI 计算服务和 Vue 3 前端组成的智能教学助理,支持从教务平台下载作业并自动批改、试卷主观题批改、学术诚信分析和对话式成绩查询。系统通过 Go/Eino 主助手与页面 Agent 调用 DeepSeek API,Python 侧经 gRPC 提供 OCR、查重、AIGC 检测与评分,RPA Worker 用 Playwright 操作浏览器,人工键鼠输入经 WebSocket 传递、不经模型且不持久化密码与验证码;仓库当前适配 https://learning.xidian.edu.cn/portal ,提供一键启动脚本与批改 Skill 设计文档。

  17. GitHub · 灵魂体仓库53

    hyeonbin123 开源 rag-doc-qa:基于 FastAPI 文档的中韩双语 RAG 问答服务

    hyeonbin123 在 GitHub 开源了 rag-doc-qa,一个针对 FastAPI 官方文档(英文原文 154 篇、韩文翻译 123 篇、1,535 个分块)的 RAG API 服务,用英文或韩文提问会在对应语言文档中检索并返回带引用的答案。技术栈为 FastAPI + PostgreSQL 16 + pgvector,提供 dense / hybrid / rerank 三种检索模式,本地运行 BAAI/bge-small-en-v1.5、Granite R2 311M 嵌入模型与 4-bit GGUF 的 A.X-4.0-Light 生成模型(RTX 2080 Ti 上生成中位数约 9 秒),也可切换 Claude API。

  18. GitHub · 去对齐工具与仓库54

    ArynwoodMCP v0.4.6 发布本地优先 AI 工作台,修复两处安全漏洞并设 Hermes 3 8B 为默认模型

    Arynwood MCP 在 GitHub 发布 v0.4.6 桌面 alpha,提供 Linux AppImage/.deb 和 Windows x64 安装包,是一个本地优先的个人 AI 与创作工作台,基于 Ollama 实现多人格聊天、文档知识库、设计画布和 MCP 工具集成(含 Kdenlive)。0.4.6 修复了 0.4.5 的两个安全漏洞,即网页可读取本地 API 以及链接可启动工具安装,并将 Hermes 3 8B 设为默认模型;实验性的 headless gateway 支持通过本地 API 或自有 IRC 服务器远程控制工作区,默认关闭。模型、Qdrant、Stable Diffusion 等依赖需单独安装,LoRA 训练和部分 GPU 工具需源码检出。

  19. GitHub · 去对齐工具与仓库59

    ClawPanel 开源发布多引擎 AI Agent 可视化管理面板

    武汉晴辰天下开源 ClawPanel,这是一个支持 OpenClaw、Hermes Agent、DeepSeek Harness 等引擎的可视化管理面板,采用 Rust + Tauri v2 桌面端与零 GUI 依赖的 Web 版,AGPL-3.0 协议。内置 AI 助手提供 4 种操作模式和 8 大工具,可一键排障、生成 Issue 和修复 PR,并支持飞书、钉钉、Telegram、Discord、QQ 等消息渠道接入;Web 版兼容 ARM64 开发板,提供一键部署脚本与 Docker 镜像,地址 https://github.com/qingchencloud/clawpanel。

    推荐理由:项目 README 给出了从桌面到 ARM64 开发板和 Docker 的完整部署与升级路径,读者可以照此评估这套多引擎 Agent 管理面板是否适配自己的环境。

  20. GitHub · 去对齐工具与仓库31

    OpenCSG 开源 CSGHub Server:大模型资产管理平台后端

    OpenCSG 开源了 CSGHub Server,这是大模型资产管理平台 CSGHub 的后端服务,通过 REST API 管理模型、数据集等 LLM 资产。项目支持用户与组织管理、模型/数据集自动打标签、.parquet 等数据集在线预览、文本与图像内容审核、LFS 单文件下载及下载量/点赞数等活跃度统计。兼容 Gitea、GitLab 等 Git 服务器和 S3 协议存储,采用 Apache 2.0 许可证,可通过 docker-compose 快速部署。

  21. GitHub · 灵魂体仓库48

    NanoRuntime:边缘优先的 Rust 端侧 LLM 推理引擎与 Nano 移动智能体平台

    Nano 是一个 100% 本地运行、不依赖云端的边缘优先 AI 平台,由纯 Rust 编写的超低内存 LLM 推理引擎 NanoRuntime 和 Flutter + Android 原生的移动智能体平台 NanoMobile 组成。推理引擎在 RAM 压力下可将上下文窗口从 8192 降至 512 tokens,并通过 madvise(DONTNEED) 分层内存分页;自动化方面严格区分 EXECUTED ≠ VERIFIED,动作执行后须通过 ActionVerifier 校验。项目已在 CPH2557(Android 15)真机验证,149/149 测试通过,采用 MIT 许可证开源。

  22. GitHub · 灵魂体仓库58

    GoldenRetriever 开源:基于 RAG 的个人知识库项目

    开发者 Kam Lau 在 GitHub 开源 GoldenRetriever,一个带检索增强对话的个人知识库,支持从网页、URL、PDF 和 iOS Share Sheet 收集文章、笔记与书签,回答附带内联引用并可点击查看原文段落。技术栈为 Next.js 15、Postgres 17 + pgvector 和 Vercel AI Gateway,检索采用 pgvector 语义搜索与全文搜索经 Reciprocal Rank Fusion 合并后再由 LLM 重排,并包含防 SSRF 的 URL 校验、多租户数据模型和约 230 个测试,MIT 协议发布。

    推荐理由:原文完整给出了摄取管线、混合检索和防SSRF等实现细节,读者可以参考这套个人知识库RAG的工程做法。

  23. GitHub · 去对齐工具与仓库51

    VTSTech 发布零依赖本地优先 Agent 框架 AgentKthx R07.29

    VTSTech 发布了最小化模块化 Agent 框架 AgentKthx(R07.29,Alpha),仅用 Python stdlib 实现工具调用,支持 Ollama、TurboQuant、BitNet 本地运行,以及 OpenRouter、Gemini、Mistral 等十余个云端后端,兼容 500+ 模型。框架提供基于清单的插件系统、MCP 客户端、SQLite 持久记忆、多 Agent 编排、Soul Spec v0.5 人格包和安全模式,测试套件 3055 通过 / 20 跳过,项目由 AgentNova 更名而来并保持向后兼容,采用 MIT 许可证。

  24. GitHub · 去对齐工具与仓库72

    Superlinked 开源推理引擎 SIE:一个集群服务 Agent 调用的 100+ 模型

    Superlinked 在 GitHub 开源推理引擎 SIE,通过一个 OpenAI 兼容 API 为 Agent 任务提供搜索、文档转 markdown、结构化输出、内容安全、Agent 循环等模型推理,可按需加载 100+ 模型。项目提供 Kubernetes 与 Helm 部署配置、KEDA 自动伸缩、Grafana 仪表盘,并集成 LangChain、LlamaIndex、DSPy 等框架,全部 Apache 2.0 协议。

  25. Reddit · r/LocalLLaMA54

    llm-tune:一个帮本地 LLM 找到最优运行设置的 Agent 技能

    Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能,用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构,覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon(MLX),支持 llama.cpp、Ollama、vLLM 引擎,可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置,并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测,作者征集更多 GPU 环境的反馈和基准结果。

  26. GitHub · 灵魂体仓库65

    Connapse 开源 AI Agent 持久记忆后端,支持 MCP 与自托管部署

    开源项目 Connapse 发布,为 AI Agent 提供持久、可搜索的知识后端,解决会话间丢失上下文的问题。它支持上传文档或直连 Amazon S3 与本地文件系统,通过 11 个 MCP 工具、REST API 或 CLI 供 Agent 查询与构建语料,采用容器隔离与向量加关键词混合搜索,基于 .NET 10 和 PostgreSQL+pgvector,可用 Docker 一条命令自托管部署,当前版本 v0.3.2,MIT 许可。

    推荐理由:这是一个自托管的开源 agent 记忆后端,支持通过 MCP 供 Claude 等客户端查询和构建知识库,可了解本地 RAG 基础设施的完整做法。

  27. GitHub · 灵魂体仓库47

    Oriveo Community Edition 开源:BYOK 多模型 AI 聊天客户端,支持 15 家模型服务商

    Oriveo Community Edition 是一款开源(AGPL-3.0-or-later)BYOK 多模型 AI 聊天客户端,覆盖 iOS、Android 和网页端,macOS 原生客户端开发中。它原生对接 OpenAI、Anthropic、Google Gemini、DeepSeek 等 15 家模型服务商,并兼容 llama.cpp、Ollama、LM Studio、vLLM 等本地模型服务器,对话、笔记、技能和附件默认留在设备上,支持 MCP 工具、设备端成本统计及 16 种界面语言。

  28. GitHub · 灵魂体仓库57

    yottacode 发布本地优先终端编码智能体,支持多模型与审批优先工作流

    yottadynamics 在 GitHub 发布 yottacode,一个本地优先的终端 AI 编码智能体,可把 issue 转为经过测试的 pull request。它支持 OpenAI、Anthropic、Gemini、xAI、OpenRouter、Ollama 等多种模型接入,提供审批优先的文件写入与命令执行、路径校验、plan mode、检查点回滚、无遥测的纯文件存储,以及 Go、TypeScript/JavaScript、Python、Rust 的本地 LSP 支持。项目为纯 Go 单二进制程序(Go 1.26+,Linux/macOS,Windows 需 WSL),MIT 许可,目前处于 pre-1.0 阶段,可选启用 Podman 沙箱隔离命令执行。

  29. GitHub · 灵魂体仓库59

    wrapper-code:一行命令让 Claude Code CLI 接入 DeepSeek、Ollama 等其他模型供应商

    Gabriel Fernandes(@nayamonia)发布了开源工具 wrapper-code,可在不改动 Claude Code 配置的情况下,用 wrapper-code deepseek、wrapper-code ollama 等命令在单次会话中接入 DeepSeek、Ollama、Qwen Cloud、OpenRouter、Kimi、Z.ai GLM Coding Plan 等供应商,支持 Node.js 18+、macOS/Linux/Windows。工具只在会话环境里设置变量,不写入 ~/.claude,每次会话在本地记录 token 用量并可按供应商汇总;作者还与 claude-code-router(CCR)做了对比,定位为无后台服务、不做请求路由的轻量方案。

    推荐理由:原文把 wrapper-code 与 claude-code-router 的架构差异、隐私边界和上下文坑位讲得很具体,读者可以据此判断是否适合自己的单会话场景。

  30. GitHub · 灵魂体仓库58

    开源本地 AI 邮件助手 Mail Triage 发布,规则、小模型与 LLM 分层处理收件箱

    作者发布并每日自用的本地优先 AI 邮件助手 Mail Triage,采用规则、小模型快速通道与工具调用 Agent 的分层架构,支持混合检索 RAG、可视化自动化流程、沙箱插件和 OAuth2 机构邮箱接入,Docker 部署且默认绑定 localhost 无内置认证。项目附带 600 个冻结用例的模型评测,结论包括 4B AgentMercury 通过助手和规则学习非劣性测试但未过分类门槛,且强工具调用不等于可靠的邮件分类;评测为针对该工作负载的实测,不代表通用模型排名。

    推荐理由:作者自建的本地邮件 Agent,附 600 个冻结用例的模型评测,可看到小模型哪些任务能替代大模型、哪些不能。

  31. GitHub · 灵魂体仓库64

    codex-model-router:让 Codex Desktop 在本机路由 Claude 与第三方模型

    funkeyyou 发布 codex-model-router,一个 macOS/Windows 本机代理,让 Codex Desktop/ChatGPT Desktop 在保留官方 GPT 模型的同时使用 Claude、DeepSeek、Qwen(通义千问)、GLM、Kimi 等 OpenAI 兼容端点。支持 Responses API、Claude Messages 本机双向转译与 Chat Completions 兼容模型探测,可管理多家供应商 API Key、提供网页管理界面、中转 API 生图技能,以及实验性的 Claude Code CLI 订阅路由;项目为非官方社区工具,MIT 授权。

  32. GitHub · 灵魂体仓库50

    DSH 插件 dsh-plugin-oauth-subs:在 DeepSeek Harness 中复用 ChatGPT、Grok、GLM 等订阅与 API key

    DeepSeek Harness 的 dsh-plugin-oauth-subs 插件让用户在 DSH 内复用 ChatGPT / Codex、xAI Grok、Zhipu GLM、AWS Kiro、Google Antigravity、Cursor、Ollama Cloud、Kimi Code Plan、GitHub Copilot、Devin Agent、Cline 等订阅或 OpenCode Go API key。除 OpenCode Go 直连外,各模型族均经 8318 端口的本地回环代理,路由使用 openai-responses、openai-completions、anthropic-messages 三类。

  33. GitHub · 灵魂体仓库48

    MacLLM-Compass:Apple Silicon Mac 本地大模型选型指南

    GitHub 开源项目 MacModel Guide 是一款面向 Apple Silicon(M1 至 M6)统一内存架构的 Mac 本地大模型选型推荐指南,基于 Python/Flask 重构,支持最高 512GB 统一内存并推荐 Qwen 3.6 400B、Llama 4 400B 等大参数模型。项目内置 95 款合规候选模型数据库、6 个月内发布日期过滤、本地对话 Playground,剔除邮箱收集与第三方验证,数据完全离线不出本地。

  34. GitHub · 灵魂体仓库47

    AzureSupportAgent:在用户订阅内运行的 AI Azure 运维工作台

    开源项目 AzureSupportAgent 是一个部署在用户 Azure 订阅内的 AI 运维工作台,通过 Azure MCP 服务器和 Microsoft Graph (Entra ID) MCP 服务器连接租户,自动发现工作负载、逆向生成架构图并运行 Well-Architected 评估。最新更新加入十个标签页的 Entra ID 身份工作台、IAM 权限审查、Backup Manager、Alerts Manager 及 AI Insight Packs。默认只读访问,写入操作需审批且可回滚,支持一键部署到 Azure Container Apps。

  35. GitHub · 灵魂体仓库58

    Dokima v1.0 发布:本地优先的 Agent 开发工作台,平台而非 Agent 掌握审批门禁

    bpmforge 开源了 Dokima,一个本地优先的 Agent 开发工作台,v1.0.0 已打 tag 但尚未发布到 npm,目前需从源码安装(需 Node 22/24 与 pnpm 11)。用户描述需求后由 Dokima 访谈、生成蓝图并拆成看板,由 95 个专家 Agent 与 81 个验证器执行,优先用最便宜的模型;核心设计是平台持有门禁,Agent 会话默认不可信,所有状态变更需铸造收据,事件日志只追加且哈希链校验。支持本地 LM Studio 或 Ollama,无需联网与账号,存储用 SQLite,附 dokima doctor 九项健康检查;许可为 FSL-1.1-ALv2,两年后转 Apache-2.0。

    推荐理由:作者详述了平台级门禁与收据机制的设计思路,对关心 Agent 工作流可信与本地部署的读者有可参考的架构方法。

  36. GitHub · 灵魂体仓库28

    Brewference:纯 Java 实现的 LLM 推理引擎(GGUF 加载)

    Brewference 是一个纯 Java 编写的 transformer 推理引擎,可加载并运行部分 GGUF 模型,不依赖原生代码或 JNI。项目已迁移到 Java 22+,仅支持 CPU 推理,实用模型规模约 7B 及以下,新增对 Qwen 3.5 4B 和 Bonsai 27B 等模型的支持。作者将其定位为学习资源和概念验证,并表示已失去兴趣,近期不再更新。

  37. GitHub · 灵魂体仓库54

    WorkDuo 开源基于 Tauri 2 的本地优先桌面智能体工作台

    GitHub 仓库 workduoagent/work-duo 发布了一个基于 Tauri 2 + React 19 的桌面端智能体工作台,把 LLM 模型管理、智能体编排、MCP/Skill 生态、知识库、Python 沙箱与长期记忆整合在同一本地优先客户端,推理走云端 API、数据留本机。引擎采用意图分流、DAG 规划、微 ReAct 流水线,支持高危操作审批、记忆三级开关(默认关闭)与技能双通道能力;技能包由 SKILL.md 契约加可选 tools. 随包工具组成,单智能体上限 3 个技能,随包脚本默认触发人机审批并跑在 micromamba 沙箱内。

  38. GitHub · 去对齐工具与仓库18

    dify-flowise-ai-platform-setup:Windows 本地运行 Dify 与 Flowise 搭建 AI 工作流教程

    这是一个开源本地平台,可在 Windows 10/11 电脑上一键运行 Dify 和 Flowise,通过拖拽节点连接数据源与大语言模型来构建 AI 工作流。要求 Intel Core i5 以上处理器、16 GB 内存和 20 GB SSD 空间。Dify 支持 RAG 应用并可接入 OpenAI 或 Anthropic 的 API key,Flowise 用于可视化构建语言模型链。

  39. GitHub · 灵魂体仓库18

    ResearchForge:自主多智能体研究系统发布

    GitHub 上的 ResearchForge 是一款开源本地工具,用自主 AI 智能体将复杂主题转化为结构化研究报告,涵盖任务规划、网络搜索、信息分析与报告生成四步。软件支持 Windows 10/11,需 8 GB 以上内存和 500 MB 存储空间,报告本地存储、个人使用免费,目前不支持 Mac。