跳到正文
#本地部署
10月9日周五
  2. GitHub · 灵魂体仓库59

    Vstorm 开源自托管 Agent 平台 AgenticOS

    Vstorm 发布开源（Apache-2.0）自托管 AI Agent 平台 AgenticOS，团队可在浏览器中配置、发布和管理 Agent，并统一控制访问、预算与审批。支持 27 家模型提供商（含 Ollama、vLLM 本地模型），可发布到 Slack、Mattermost、Telegram、网页组件和 API，基于 Pydantic AI、FastAPI 和 PostgreSQL with pgvector 构建，单台 4 vCPU、8 GB RAM 主机即可运行。项目同时明确列出当前不支持的特性，如无原生 MFA/SAML/SCIM、无 Kubernetes manifests、不支持 SharePoint ACL 逐用户镜像。

    推荐理由：原文完整给出了部署要求、能力清单和明确列出的功能边界，读者可据此评估这个自托管 Agent 平台是否适合自己团队。

  3. GitHub · 去对齐工具与仓库46

    llm-arch-research：用 PyTorch 从零实现 GPT、LLaMA、Mistral 等 6 种 LLM 架构的研究项目

    开源仓库 llm-arch-research 基于 PyTorch 从零实现并对比 GPT、GPT-2、LLaMA、Mistral、Mixtral、Gemma 六种大语言模型架构，仅依赖 PyTorch 和 NumPy，附 BPE 分词器和简单 Trainer。项目含三部分文档：讲解 tokenization、attention、RoPE、MoE 等机制的教程，面向研究者的训练与 HuggingFace 权重加载指南，以及开发者文档；hf-proxy 目前仅支持 GPT 模型。

  4. GitHub · 去对齐工具与仓库29

    LLM-Serving-System：面向昇腾的 Kubernetes vLLM 推理工程项目

    该项目提供基于 Kubernetes 与官方 vLLM Router 的昇腾 NPU 推理服务工程，当前 AWQ 池有四个模型副本（awq-01～awq-04），GPTQ 池一个副本（gptq-01），分布在四个推理节点及 .217 控制节点组成的五机 K3s 实验集群。AWQ/GPTQ 的单节点 TP2、PP2 及 TP2/PP2 组合已实测普通/SSE 推理，生产配置保持 TP1/PP1 基线。扩缩容、双副本发现、Pod 删除恢复等生命周期验收已通过，但实验通过不等同于生产认证。

  5. GitHub · 灵魂体仓库67

    Duplex v0.2.6 发布：人类与 AI 共用同一浏览器会话的 Electron 浏览器

    Eric-huang799 在 GitHub 开源了 Duplex，一个基于 Electron 的桌面浏览器，让人类与 AI 共用同一标签页和实时会话：人看渲染页面，AI 通过 24 个 MCP 工具读 DOM 和页面源码。内置 agent 支持 DeepSeek、Kimi、Qwen、GLM、Ollama 等 OpenAI 兼容 API，可镜像 opencode、Codex、Claude Code 会话到侧面板，提供 F2 / Ctrl+Shift+K 紧急停止键和页面标注功能。v0.2.6 新增全快捷键自定义、书签管理器和流程内查找栏；作者提醒 AI 驱动真实浏览器会话涉及登录态和 cookie，误操作可能触及真实账户数据。项目采用 MIT 许可证。

    推荐理由：原文给出了 Duplex 与 browser-use、Playwright MCP 等方案的对比表和安全边界说明，读者可以评估这种人机共用浏览器会话的取舍。

  6. GitHub · 灵魂体仓库37

    LernGenie：从学习资料自动生成测验、卡片和学习指南的自托管 Web 应用

    开源项目 LernGenie 是一款基于 React 19、Express 4 和 SQLite 的自托管 Web 应用，可从照片或文本学习材料生成测验题（5 至 25 题，默认 10）、卡片和学习指南，照片通过 Vision 模型做 OCR。AI 支持通过 @google/genai 调用 Google Gemini 或 OpenRouter，提供 Docker 部署，测验结果、错题分析和按科目主题的统计数据按学习包保存，且无需云账号即可在局域网内运行。

  7. GitHub · 灵魂体仓库70

    phillipclapham 发布 anneal-memory：带引用验证与审计链的 Agent 活记忆系统

    作者发布 anneal-memory，一个零依赖的 Python Agent 记忆库，提供库、CLI 和 MCP 三种接入方式，核心机制包括引用验证的 pattern 升级、sha-256 哈希链审计日志、灾难性收缩门和单写者合并门。文中引述持久用户记忆使谄媚度提升 16% 至 45%（Gemini 2.5 Pro 为 45%）、生产部署 32 天内 10134 条记忆中仅 224 条可用等数据，并说明 Hebbian 关联层经 15774 次召回实测从未改变结果后已在 0.9.26 移除召回读取，Windows 写锁与编码等限制也已诚实标注。

    推荐理由：作者实测了自己长期记忆库的召回数据，并用具体数字说明各机制的实效与失效之处，属于可迁移的工程参考。

  8. Reddit · r/LocalLLaMA55

    Eron v1.4 发布：面向 Ollama 与本地模型的原生 iOS 客户端

    开发者 /u/RA2B_DIN 发布 Eron v1.4，一款原生 iOS 客户端，直连 Ollama、vLLM、LM Studio 或用户自带 API key，无中间服务器、无遥测。v1.4 重写流式管道实现零缓冲输出，原生流式渲染 DeepSeek R1 等 <think> 推理块，并提供 Apple Reminders、Calendar 和 HomeKit 的本地工具调用桥接及隔离工作区。App 售价 $2.99 买断制，作者另提供 20 个兑换码征集本地部署用户的反馈。

  9. GitHub · 灵魂体仓库67

    PegaInfer 开源无 PyTorch 的 LLM 推理引擎，支持 Qwen3 等多模型

    PegaInfer 项目在 GitHub 开源了一个用 Rust 编写、不依赖 PyTorch 或 Python 运行时的 LLM 推理服务引擎，通过 OpenAI 兼容 API 提供服务，每个模型拥有独立的调度器和内核。预编译版本内置 CUDA 13 与 cuBLAS，默认支持 Qwen3，需 Linux x86_64、算力 8.x–12.x 的 NVIDIA GPU 和 580+ 驱动。

  11. GitHub · 灵魂体仓库56

    Agentic-Knowledge-Graph 开源：知识图谱 RAG 系统让本地 3B 模型按证据作答

    himanshu2005-tech 在 GitHub 开源 Agentic-Knowledge-Graph，一个 Windows 优先的证据感知 RAG 系统，用混合检索、置信度路由、Groq 上的 openai/gpt-oss-120b 扩展知识图谱并留存来源，最终由本地 Qwen 系 3B 模型仅基于筛选证据生成答案。系统含 FastAPI 后端、React 控制台、文件与 Neo4j 双存储、Prometheus 监控和人工反馈记录。30 题基准显示云模型 96.7%、原始本地 3B 模型 60.0%、加知识图谱后 63.3%，作者注明该评分为确定性答案匹配而非人工事实性评分。

    推荐理由：项目给出30题对比数据，本地3B模型加知识图谱后准确率从60.0%升到63.3%，可作小模型RAG改进的参考做法。

  12. GitHub · 灵魂体仓库65

    liv114514 开源零依赖项目记忆编译器 projectmem

    liv114514 在 GitHub 发布 projectmem（pmem），一个单 js 文件、零依赖的项目记忆编译器，让 AI 编程 agent 跨会话记住项目决策、进度和坑。记忆从 git + 会话 + 文档确定性编译，登记文件一变即精确标旧，每条带 commit 证据收据，断言可挂 CI，另有密钥脱敏、SHA-256 哈希链和注入检测；支持 MCP 接入 Claude Code / Cursor 等，与 agentmemory、claude-mem 的对比表附于 README。

    推荐理由：项目把记忆做成 git 驱动的编译产物并给出与 agentmemory 等方案的逐项对比，读者可据此评估是否替换现有记忆工具。

  13. GitHub · 灵魂体仓库53

    flyarchive 0.1 发布：本地文档归档工具支持语义搜索与 MCP 模型接入

    andrewsabn 在 GitHub 发布 flyarchive 0.1，一个运行在自己机器上的文档归档工具，支持按语义和关键词搜索，嵌入与全文索引都在本地计算，嵌入服务用 Ollama 加 bge-m3 模型（约 1GB）。文件经 inbox 严格入库：按内容识别类型，可疑文件进隔离区，重复文件拒收，每个文件有回执。语言模型可通过 MCP 适配器配合 read 或 full 级别 token 访问归档，支持搜索、读取文档、生成 Word、Excel、PowerPoint 和 PDF，所有请求记入访问日志，外部访问仅经私有网络网关。命令界面为俄文，需 Linux（Windows 用 WSL2）、Python 3.10+，核心采用 AGPL-3.0 许可。

  14. Reddit · r/LocalLLaMA51

    开源 OmniVoice TTS 服务器：兼容 OpenAI API，RTX 3080 上 0.3 秒响应

    /u/Delicious-Farmer-234 在 r/LocalLLaMA 开源了一个 OpenAI 兼容 API 的 TTS 服务器 open-omnivoice-tts，在 RTX 3080 上生成一句话约 0.3 秒，支持用短参考音频克隆声音。服务器针对快速启动做了优化，可按段落顺序处理长文本，默认参数已调优，CFG 等设置可自行修改；作者用它把课本转成自己的声音朗读的有声书。仓库地址 https://github.com/hypersniper05/open-omnivoice-tts，试听页面 https://hypersniper05.github.io/open-omnivoice-tts/

  15. GitHub · 灵魂体仓库44

    ddarkr/datalake：基于 GreptimeDB 与 Grafana 的自托管个人数据湖项目

    GitHub 开源项目 ddarkr/datalake 是一个基于 Docker Compose 的自托管数据湖，把编码智能体、车辆和家居传感器的时间序列数据汇集到 GreptimeDB，并通过 Grafana 查询。编码智能体支持 Codex、opencode2、Claude Code 等，按会话、模型统计 token 与成本；车辆侧支持 CAN/VSS 与 Tesla Fleet Telemetry，CAN 原始数据以 MF4 形式另存 S3 归档。项目提供 12 个 Grafana 仪表板，代码采用 MIT 许可证，可用 python3 tools/demo.py start 一键体验。

  17. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版，支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。

  18. GitHub · 去对齐工具与仓库73

    mkorbi 开源自托管 LLM 容量规划器 ai-fit

    mkorbi 在 GitHub 发布了 ai-fit，一个自托管 LLM 容量规划器，可选加速器、节点内互联与模型负载，估算可服务用户数、每用户上下文、tokens per second、TTFT、每百万 token 成本与功耗，也支持反向按用户数反推最小硬件配置。项目含像素风模拟器、vLLM/SGLang/TensorRT-LLM 引擎支持矩阵，模型条目用 Hugging Face config. 校验，并用 gpt-oss-120b 单卡 H100、Llama 3.3 70B 在 8× H100 约 1.3M KV tokens 等已发表数据做校准锚点，作者提醒输出只作量级估算。

    推荐理由：自托管 LLM 容量规划器给出显存、并发与吞吐的估算模型和校准锚点，读者可据此在购入硬件前对不同加速器做量级评估。

  19. GitHub · 灵魂体仓库42

    ai-rag-platform-blueprint：企业级 AI/LLM/RAG 平台参考架构蓝图

    GitHub 开源仓库 ai-rag-platform-blueprint 提供在生产级基础设施上运行内部 AI、LLM 与 RAG 平台的参考架构，覆盖网关、RAG 编排、LiteLLM 式 LLM 路由、vLLM 式 GPU 推理、PostgreSQL、Redis 与向量库等组件。当前 v0.2.0 版本包含 Dify 可选工作流、Prometheus/Grafana 可观测性方案，以及引用时效、检索提示词注入、向量备份与恢复等可离线执行的发布检查门禁，并提供 Docker Compose 快速启动脚本。

  20. GitHub · 灵魂体仓库67

    vektorprime 发布 simple-search-api-llm-summarizer-proxy：为 OpenWebUI 外部搜索返回 LLM 摘要

    vektorprime 在 GitHub 发布 simple-search-api-llm-summarizer-proxy，作为 OpenWebUI 外部搜索引擎与搜索 API（默认 Exa）之间的代理，用 LLM 生成的详细摘要替代原始网页文本返回 snippet。项目提供 Docker compose 快速部署（端口 8555）和 /admin 网页管理界面，支持 llama.cpp、vLLM、SGLang 等 OpenAI 兼容后端，并包含两级可选缓存（查询级与链接级，SQLite 存储）与逐条结果的摘要、高亮、原文三级回退机制。

    推荐理由：原文给出了完整的部署步骤、配置表和缓存机制说明，读者可以照着把该搜索代理接入 OpenWebUI 使用。

  21. GitHub · 灵魂体仓库55

    PatchPal 发布：Python 原生的 AI 编码智能体工具

    amaiya 在 GitHub 发布 PatchPal，一个 Python 原生的 AI 编码智能体，支持本地与云端 LLM，提供终端交互和 Python SDK 两种使用方式，具备沙盒模式、技能系统、MCP 集成、浏览器自动化、autopilot 模式和从 MEMORY.md 加载项目记忆等特性。工具通过 pip install patchpal 安装，任何 LiteLLM 支持的模型均可使用，默认模型为 anthropic/claude-sonnet-4-5，也可用 Docker/Podman 运行；对 Ollama、vLLM 等本地模型提供 PATCHPAL_MINIMAL_TOOLS 和 ReAct 模式等设置以提升工具调用可靠性。

    推荐理由：README 写清了安装命令、Docker 用法和本地模型的降级设置，想用 Python 搭编码智能体的开发者可以直接照着跑起来。

  22. GitHub · 灵魂体仓库42

    Xorbits Inference（Xinference）3.0.0 发布

    Xorbits Inference（Xinference）发布 3.0.0 版本，提供语言、语音识别与多模态模型的部署和服务能力，支持单命令部署。新版本集成 Xagent 实现动态规划、工具调用与自主多步推理，新增自动批处理以提升吞吐，并内置 Qwen-Image-2.1、MiniCPM5-2B、MinerU2.5 等多款新模型。该库支持 OpenAI 兼容 RESTful API、分布式部署及 GPU/CPU 异构硬件加速，并提供企业版和 Xinference Cloud 托管服务。

  23. GitHub · 灵魂体仓库61

    Undertone 开源：macOS 浮窗用本地 Qwen 3.5 4B 为中文用户解读英语潜台词

    作者开源了 Undertone，一款 macOS 浮窗工具，通过 ScreenCaptureKit 截屏加 OCR 读取聊天窗口，用本地 Qwen 3.5 4B 模型（经 Ollama 运行）把英语消息的真实含义以中文解释出来，将消息分为 11 类识读并建议回复，还可检查草稿语气。默认全本地运行，可选用云模型。自建评测集显示本地模型识读开发集 80%、held-out 集 68%，草稿检查 23/26；另用 QLoRA 微调实验把 base 模型从 31% 提升到与提示版相当的水平并快约 35%。内置关键词安全网提醒外贸换账户诈骗等风险，项目以 Apache License 2.0 发布。

    推荐理由：作者公开了完整的识读流程、评测集和微调对比数据，读者能据此评估本地小模型做英语潜台词解读的真实水平。

10月8日周四
  1. GitHub · 去对齐工具与仓库41

    MyCookie/Homelab：基于 Docker Compose 与 Debian + ZFS 的自托管 Homelab 配置仓库

    MyCookie/Homelab 是一个自托管 Homelab 配置仓库，提供 Nextcloud、Jellyfin、Synapse、Forgejo 等服务的 Docker Compose 编排、Caddy 反向代理配置，以及 Debian + ZFS 运维文档。Compose 文件按单服务拆分并用 include: 组装，另含 spark/ 目录的 llama.cpp / vLLM 本地 LLM 推理层。仓库为个人非生产用途，采用 :latest 标签加 Watchtower 自动更新，暂无监控与测试套件，遵循 GNU GPLv3。

  2. GitHub · 去对齐工具与仓库69

    fagan：用前沿模型做判断、本地模型写码的低成本自主编码流水线开源

    GitHub 开源项目 motock/fagan 提出一条自主编码流水线：前沿模型负责分解任务、规划、审查 diff 和裁决风险，本地模型（经 Ollama、LM Studio 或 MLX）负责零边际成本的实现。项目以 Michael Fagan 1976 年 IBM 形式化审查研究为依据构建闸门，包括实现前强制 TDD、独立审查、验收 oracle 评分、风险分级 overlord 和合并前重跑测试的 merge gate，目标是把企业级工程纪律压到每月 20 美元预算内。

    推荐理由：作者把判断交给前沿模型、把写码交给本地模型，并用 TDD 和多重闸门控制质量，还公开记录了失败模式和局限。

  3. Reddit · r/LocalLLaMA41

    用 6 台“根本跑不动”的设备分布式运行 gpt-oss-120b

    一位 Reddit 用户将 openai 的 gpt-oss-120b（4bit 量化、约 60GB）拆分到 6 台设备上组成的集群运行，包括 RTX 3060 mini PC、Mac mini、M3 MacBook 等，加载耗时约 11 分钟，5 台设备成功分到模型分片。次日手机掉线后集群自动把分片迁移到旧笔记本，零停机继续运行，展现了自愈能力。

  4. GitHub · 灵魂体仓库30

    JP-BX/AI-LLM-Security-Testing-Lab：基于 Qwen3:8B 的提示词注入攻防实验项目

    一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot，并开发提示词注入检测层，通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例，覆盖良性提示、误报和检测绕过尝试，最终全部通过，在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词，基于关键词的过滤是教学原型，不能替代生产级 LLM 安全防护。

  5. GitHub · 去对齐工具与仓库16

    SakinduD/R26-SE-010：Genz SoftSkills 训练平台本地部署与 Supabase 认证配置指南

    GitHub 仓库 SakinduD/R26-SE-010 提供 Genz SoftSkills 训练平台的后端 README，说明如何用 venv、pip 和 uvicorn 在本地 8000 端口启动 FastAPI 服务。认证基于 Supabase Admin API，配置 SUPABASE_URL、SUPABASE_ANON_KEY、SUPABASE_SERVICE_ROLE_KEY、SUPABASE_JWT_SECRET 及 GEMINI_API_KEY 等环境变量后，支持注册、登录、JWT 验证（HS256）、token 刷新、登出和密码重置接口。密码仅由 Supabase 存储与验证，后端不记录密码，另附数据库 SSL、连接超时等故障排查方法。

  6. GitHub · 去对齐工具与仓库49

    PoeenCy 开源 llm-defense-setup：A/D CTF 单机监控防御套件

    PoeenCy 在 GitHub 开源 llm-defense-setup，一套面向 A/D CTF 的单机监控与防御系统。它用 ctf_proxy 在边缘拦截攻击，Tulip、Suricata 与检测服务在 1 秒内识别 flag 外泄并上仪表盘，并通过 mcp-tulip 只读访问流程数据，由 Cisco 基于 Llama-3.1-8B 的安全模型 Foundation-Sec-8B 做 IOC 分析。services.json 作为唯一配置源自动生成各工具配置，附 SLA watchdog 与 mock-vulnbox。

  7. GitHub · 去对齐工具与仓库51

    开源音乐工作台 tsov v0.1 发布：哼唱转 MIDI 并由 LLM Agent 协作编曲混音

    开发者在 GitHub 发布本地优先的 AI 音乐工作区 tsov（v0.1，AGPL-3.0）：录一段哼唱后走 quick-lane（RMVPE 哼唱转写、GAME 人声转写、量化、音阶对齐）生成可编辑 MIDI，再由 LLM Agent 通过统一事务命令层完成编曲、配器、混音与导出，每次修改以 diff 展示且可撤销。整个流程在浏览器本地运行，仅 LLM 调用离开本机，默认接 DeepSeek deepseek-v4-flash，也支持任意 OpenAI 兼容端点；Windows 优先，macOS/Linux 未测试，附 600+ 测试与 v0.1.1 预编译包（win64 3.5 GB，因超出 GitHub 资产限制经夸克网盘分发）。

  8. GitHub · 去对齐工具与仓库51

    0xv3nm09 开源 rca-warba 企业银行客户关系交接 AI 原型

    0xv3nm09 在 GitHub 发布 rca-warba，一个面向 Ignyte by DIFC × Warba Bank Corporate Banking AI Challenge Track 2 的智能关系交接原型，维护带来源引用的客户关系档案并要求每项关键事项有负责人和日期后才能完成交接。原型强制五条规则，包括模型不决定状态、不可信文本只作数据并标记注入、数字从结构化字段复制；合成数据上实测数字精确率 100%、关键事项召回 7/7、跨组泄漏和注入成功均为 0，附 51 个自动化测试与 hash 链审计日志，支持 docker compose 一键启动并可选接入 Groq 或 Ollama 本地模型。

  9. GitHub · 去对齐工具与仓库55

    Cyberbatman 发布可装进 U 盘的 Windows 本地 LLM 便携包

    sOuL2000s 在 GitHub 发布 AI Pendrive，一个基于 llamafile 0.10.5 的 Windows 本地 LLM 便携包，双击 start_4gb_gpu.bat、start_6gb_gpu.bat、start_8gb_gpu.bat 或 start_no_gpu.bat 即可在 127.0.0.1:8080 启动本地服务器和浏览器 UI。模型使用 HauhauCS 的 Qwen3.5 2B/4B/9B Uncensored GGUF 权重，需手动下载，不自动检测硬件；默认上下文 256K tokens、KV cache q4_0 量化，并默认启用内置 agent 工具（读写文件、shell 命令等），status.bat 提供每五秒刷新的终端仪表盘。

    推荐理由：原文详细给出了各硬件档位的启动脚本、上下文与 KV cache 配置，读者可以照着在 U 盘或移动 SSD 上复现这套本地部署。

  12. GitHub · 灵魂体仓库55

    karmise/local-llm-lab：基于 AnythingLLM 与 Ollama 的本地 LLM/RAG 测试框架

    karmise 发布 local-llm-lab，一个本地 AnythingLLM 环境加 Python 自动化框架，用于测试 LLM 和 RAG 工作流。框架提供分层 API 客户端、工作区生命周期、文档检索、两个生成模型的对比检查、本地 RAGAS 评测与人工标注判分控制、16 例 golden 数据集、对抗与偏见回归场景及 Playwright UI 场景；组件含 AnythingLLM、Ollama、Qwen3.5 4B、Qwen2.5 7B、BGE-M3 和 LanceDB，通过 ./lab.sh 管理环境，GitHub Actions 运行离线检查。

    推荐理由：这个本地 RAG 测试框架把 API 分层客户端、上下文捕获、RAGAS 评测和人工校准的判分控制串成完整流程，做法可直接迁移。

  13. GitHub · 灵魂体仓库74

    LocalAI 团队发布 C++ 推理引擎 vllm.cpp：66 MiB 部署对标 vLLM

    LocalAI 团队发布从零编写的 C++20 推理引擎 vllm.cpp，无 Python 与 PyTorch 依赖，二进制仅 66 MiB，对比 vLLM 9.1 GiB 安装约省 140 倍。在 GB10 上 Qwen3.6-27B NVFP4 输出与 vLLM token 级一致，c1 吞吐 86.05 vs 82.32 tok/s，峰值内存 24.88 GiB vs 28.18 GiB；支持 CUDA/CPU/Metal/Vulkan、44 种架构、GGUF 压缩块直接计算和 MTP、DFlash 等投机解码。项目处于重度开发期，多数架构速度验证仍标记为 speed-pending，llama.cpp 对照数据基于已被取代的 fork，待重测。

    推荐理由：LocalAI 团队的 C++20 推理引擎，README 给出了与 vLLM、llama.cpp、MLX-LM 的逐项对照数据和明确的 speed-pending 标注，可了解无 Python 推理栈的真实水平。

  14. GitHub · 去对齐工具与仓库60

    开源 RAG 客服助手 rag-support-assistant：本地检索、拒绝兜底与 56 题评测数据

    ultimatekillingmachine 在 GitHub 发布 RAG 客服助手 rag-support-assistant，仅依据公司帮助文章回答问题、附编号引用来源，检索不到相关内容时直接拒绝作答。项目开箱即离线，使用本地嵌入（intfloat/multilingual-e5-large）、SQLite 和离线应答 stub，也可指向 DeepSeek、OpenAI 或本地 Ollama 等 OpenAI 兼容模型；检索融合向量与 BM25（RRF 融合）并设 0.80 置信度门槛，支持流式输出、bearer token 权限分级和 Docker 部署。

    推荐理由：原文附上 56 题评测与消融结论，reranker 更差更慢、拒绝不调用模型等实测细节可直接复用到自建 RAG 客服系统。

  15. GitHub · 灵魂体仓库64

    开源听写工具 Earheart 发布，语音输入可直通 Claude Code 与 Cursor

    Earheart 是一款开源本地听写工具，按全局快捷键（默认 Ctrl/Cmd+Shift+Space）说话即可把清理后的文本粘贴到当前聚焦的应用，无需集成即可用于 Claude Code、Codex、Cursor 等。语音用 NVIDIA Parakeet TDT 0.6B v3 在本机转写，Qwen3 4B Instruct 2507 在本机去除口头填充词和false starts，默认完全本地、无遥测和账号，也支持指向任意 OpenAI 兼容的转写或清理端点。支持 Windows、macOS（Apple Silicon）和 Linux，提供实时转写悬浮条、技术名词词典、暂停续录、本地历史和自动更新，MIT 协议开源。

    推荐理由：这是一个开源语音听写工具，语音识别和文本清理都默认在本机运行，适合关心隐私又想用语音给编码智能体写长提示词的人。

  16. GitHub · 去对齐工具与仓库48

    RCSL-AI-Nexus：跑在 Mac Studio 上的自托管 LLM 网关与管理平台

    RCSL-AI-Nexus 是一个自托管 LLM 网关与管理平台，将 Mac Studio 用作 24/7 AI 服务器而非个人电脑。后端采用 FastAPI 六边形架构，前端为 Next.js 管理界面，本地开发需 Python 3.12、Node 22 和 Docker。由于 macOS 容器无法访问 GPU，Ollama 和 MLX 等模型运行时被有意部署在宿主机上，容器通过 host.docker.internal 访问。

  17. GitHub · 灵魂体仓库67

    Krill 发布：Mac 原生 Swift + MLX 运行时，引擎与 coding agent 合一

    srvsngh99 发布 Krill，一个 Mac 原生 LLM 运行时兼 coding agent，单一 Swift + MLX 二进制支持文本、视觉和语音，无需 Python。内置 agent 循环（工具、文件编辑、web fetch、权限）、OpenAI/Ollama/Anthropic 兼容 API 和浏览器手机 UI；对 Ollama 的对比称连续批处理约 2 倍吞吐、Gemma-4-E2B 上 TTFT 约 5 倍、峰值内存约 3 GB 对 8.8 GB。支持 krill pull 一键下载 46 个聊天与多模态模型，可接入 OpenCode 免费模型和 Codex 订阅，项目为 MIT 许可的早期版本。

    推荐理由：把推理引擎和 coding agent 合进一个 Swift + MLX 二进制，与 Ollama 的对比数据和架构说明写得具体，可作本地 Agent 部署参考。