方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
mkorbi 在 GitHub 发布了 ai-fit，一个自托管 LLM 容量规划器，可选加速器、节点内互联与模型负载，估算可服务用户数、每用户上下文、tokens per second、TTFT、每百万 token 成本与功耗，也支持反向按用户数反推最小硬件配置。项目含像素风模拟器、vLLM/SGLang/TensorRT-LLM 引擎支持矩阵，模型条目用 Hugging Face config. 校验，并用 gpt-oss-120b 单卡 H100、Llama 3.3 70B 在 8× H100 约 1.3M KV tokens 等已发表数据做校准锚点，作者提醒输出只作量级估算。
推荐理由：自托管 LLM 容量规划器给出显存、并发与吞吐的估算模型和校准锚点，读者可据此在购入硬件前对不同加速器做量级评估。
vektorprime 在 GitHub 发布 simple-search-api-llm-summarizer-proxy，作为 OpenWebUI 外部搜索引擎与搜索 API（默认 Exa）之间的代理，用 LLM 生成的详细摘要替代原始网页文本返回 snippet。项目提供 Docker compose 快速部署（端口 8555）和 /admin 网页管理界面，支持 llama.cpp、vLLM、SGLang 等 OpenAI 兼容后端，并包含两级可选缓存（查询级与链接级，SQLite 存储）与逐条结果的摘要、高亮、原文三级回退机制。
推荐理由：原文给出了完整的部署步骤、配置表和缓存机制说明，读者可以照着把该搜索代理接入 OpenWebUI 使用。
amaiya 在 GitHub 发布 PatchPal，一个 Python 原生的 AI 编码智能体，支持本地与云端 LLM，提供终端交互和 Python SDK 两种使用方式，具备沙盒模式、技能系统、MCP 集成、浏览器自动化、autopilot 模式和从 MEMORY.md 加载项目记忆等特性。工具通过 pip install patchpal 安装，任何 LiteLLM 支持的模型均可使用，默认模型为 anthropic/claude-sonnet-4-5，也可用 Docker/Podman 运行；对 Ollama、vLLM 等本地模型提供 PATCHPAL_MINIMAL_TOOLS 和 ReAct 模式等设置以提升工具调用可靠性。
推荐理由：README 写清了安装命令、Docker 用法和本地模型的降级设置，想用 Python 搭编码智能体的开发者可以直接照着跑起来。
作者开源了 Undertone，一款 macOS 浮窗工具，通过 ScreenCaptureKit 截屏加 OCR 读取聊天窗口，用本地 Qwen 3.5 4B 模型（经 Ollama 运行）把英语消息的真实含义以中文解释出来，将消息分为 11 类识读并建议回复，还可检查草稿语气。默认全本地运行，可选用云模型。自建评测集显示本地模型识读开发集 80%、held-out 集 68%，草稿检查 23/26；另用 QLoRA 微调实验把 base 模型从 31% 提升到与提示版相当的水平并快约 35%。内置关键词安全网提醒外贸换账户诈骗等风险，项目以 Apache License 2.0 发布。
推荐理由：作者公开了完整的识读流程、评测集和微调对比数据，读者能据此评估本地小模型做英语潜台词解读的真实水平。
GitHub 开源项目 motock/fagan 提出一条自主编码流水线：前沿模型负责分解任务、规划、审查 diff 和裁决风险，本地模型（经 Ollama、LM Studio 或 MLX）负责零边际成本的实现。项目以 Michael Fagan 1976 年 IBM 形式化审查研究为依据构建闸门，包括实现前强制 TDD、独立审查、验收 oracle 评分、风险分级 overlord 和合并前重跑测试的 merge gate，目标是把企业级工程纪律压到每月 20 美元预算内。
推荐理由：作者把判断交给前沿模型、把写码交给本地模型，并用 TDD 和多重闸门控制质量，还公开记录了失败模式和局限。
LeenHawk 发布了 Rust 编写的自托管 LLM API 网关 GPROXY v4，统一管理上游凭据、模型路由和用量成本，支持 OpenAI Chat Completions、Responses、Claude Messages 和 Gemini GenerateContent 协议转换。v4 可作为桌面/移动应用、CLI、容器部署，或托管到 Cloudflare、Netlify、Vercel 和 Deno，内置 OpenAI、Claude、Gemini、DeepSeek、GLM、Kimi、OpenRouter 等渠道；本地 SQLite 实测 1 连接下网关增加约 0.30 ms 中位延迟，64 连接时 p99 升至约 42 ms。
推荐理由：原文给出完整部署方式与实测延迟数据，读者可以据此评估这个自托管网关是否适合统一管理多家模型凭据。
sOuL2000s 在 GitHub 发布 AI Pendrive，一个基于 llamafile 0.10.5 的 Windows 本地 LLM 便携包，双击 start_4gb_gpu.bat、start_6gb_gpu.bat、start_8gb_gpu.bat 或 start_no_gpu.bat 即可在 127.0.0.1:8080 启动本地服务器和浏览器 UI。模型使用 HauhauCS 的 Qwen3.5 2B/4B/9B Uncensored GGUF 权重，需手动下载，不自动检测硬件；默认上下文 256K tokens、KV cache q4_0 量化，并默认启用内置 agent 工具（读写文件、shell 命令等），status.bat 提供每五秒刷新的终端仪表盘。
推荐理由：原文详细给出了各硬件档位的启动脚本、上下文与 KV cache 配置，读者可以照着在 U 盘或移动 SSD 上复现这套本地部署。
karmise 发布 local-llm-lab，一个本地 AnythingLLM 环境加 Python 自动化框架，用于测试 LLM 和 RAG 工作流。框架提供分层 API 客户端、工作区生命周期、文档检索、两个生成模型的对比检查、本地 RAGAS 评测与人工标注判分控制、16 例 golden 数据集、对抗与偏见回归场景及 Playwright UI 场景；组件含 AnythingLLM、Ollama、Qwen3.5 4B、Qwen2.5 7B、BGE-M3 和 LanceDB，通过 ./lab.sh 管理环境，GitHub Actions 运行离线检查。
推荐理由：这个本地 RAG 测试框架把 API 分层客户端、上下文捕获、RAGAS 评测和人工校准的判分控制串成完整流程，做法可直接迁移。
LocalAI 团队发布从零编写的 C++20 推理引擎 vllm.cpp，无 Python 与 PyTorch 依赖，二进制仅 66 MiB，对比 vLLM 9.1 GiB 安装约省 140 倍。在 GB10 上 Qwen3.6-27B NVFP4 输出与 vLLM token 级一致，c1 吞吐 86.05 vs 82.32 tok/s，峰值内存 24.88 GiB vs 28.18 GiB；支持 CUDA/CPU/Metal/Vulkan、44 种架构、GGUF 压缩块直接计算和 MTP、DFlash 等投机解码。项目处于重度开发期，多数架构速度验证仍标记为 speed-pending，llama.cpp 对照数据基于已被取代的 fork，待重测。
推荐理由：LocalAI 团队的 C++20 推理引擎，README 给出了与 vLLM、llama.cpp、MLX-LM 的逐项对照数据和明确的 speed-pending 标注，可了解无 Python 推理栈的真实水平。
ultimatekillingmachine 在 GitHub 发布 RAG 客服助手 rag-support-assistant，仅依据公司帮助文章回答问题、附编号引用来源，检索不到相关内容时直接拒绝作答。项目开箱即离线，使用本地嵌入（intfloat/multilingual-e5-large）、SQLite 和离线应答 stub，也可指向 DeepSeek、OpenAI 或本地 Ollama 等 OpenAI 兼容模型；检索融合向量与 BM25（RRF 融合）并设 0.80 置信度门槛，支持流式输出、bearer token 权限分级和 Docker 部署。
推荐理由：原文附上 56 题评测与消融结论，reranker 更差更慢、拒绝不调用模型等实测细节可直接复用到自建 RAG 客服系统。
Earheart 是一款开源本地听写工具，按全局快捷键（默认 Ctrl/Cmd+Shift+Space）说话即可把清理后的文本粘贴到当前聚焦的应用，无需集成即可用于 Claude Code、Codex、Cursor 等。语音用 NVIDIA Parakeet TDT 0.6B v3 在本机转写，Qwen3 4B Instruct 2507 在本机去除口头填充词和false starts，默认完全本地、无遥测和账号，也支持指向任意 OpenAI 兼容的转写或清理端点。支持 Windows、macOS（Apple Silicon）和 Linux，提供实时转写悬浮条、技术名词词典、暂停续录、本地历史和自动更新，MIT 协议开源。
推荐理由：这是一个开源语音听写工具，语音识别和文本清理都默认在本机运行，适合关心隐私又想用语音给编码智能体写长提示词的人。
srvsngh99 发布 Krill，一个 Mac 原生 LLM 运行时兼 coding agent，单一 Swift + MLX 二进制支持文本、视觉和语音，无需 Python。内置 agent 循环（工具、文件编辑、web fetch、权限）、OpenAI/Ollama/Anthropic 兼容 API 和浏览器手机 UI；对 Ollama 的对比称连续批处理约 2 倍吞吐、Gemma-4-E2B 上 TTFT 约 5 倍、峰值内存约 3 GB 对 8.8 GB。支持 krill pull 一键下载 46 个聊天与多模态模型，可接入 OpenCode 免费模型和 Codex 订阅，项目为 MIT 许可的早期版本。
推荐理由：把推理引擎和 coding agent 合进一个 Swift + MLX 二进制，与 Ollama 的对比数据和架构说明写得具体，可作本地 Agent 部署参考。
regnant-io 在 GitHub 发布开源编码 Agent Bubbly（MIT 协议），完全在本地运行，支持 Anthropic、Ollama、Gemini、OpenRouter 等模型，提供桌面应用、终端 CLI 和可 headless 运行的 HTTP+WebSocket 后端三种形态。线程可在本地目录、SSH 远程主机或克隆的仓库中工作；工作流要求每阶段有验证证据才能结束，watcher 机制避免长构建轮询烧 token，关闭窗口最小化到系统托盘后后台线程继续运行，并内置 48 个按需注入的技能、AES-256-GCM 加密凭据保管和分级权限与审计日志。
推荐理由：README 讲清了这套本地优先编码 Agent 在验证、后台等待和失败如实报告上的设计取舍，方法可借鉴到自己的 Agent 工程里。
regnant-io 在 GitHub 开源了 Cordon，一个部署在本地模型运行时之前的保密推理控制平面，提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行，支持 light 到全气隙 dark 共五种部署模式；README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分（如 SGX-DCAP、证书吊销）以及有意保留的弱点。
推荐理由：原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点，读者可以据此评估它是否适合自己的保密推理部署。
作者 /u/stereohype 在 pi coding agent 中接入 Halogen 0.17.1 提供的 NPU 端点，让 Strix Halo 上的 Qwen3.8 Flash-Next（125B MoE）承担搜索、去重扫描、判断分支和 Prompt injection 初筛。同一 bug 修复任务 13.6 分钟 vs 不用 NPU 的 18.7 分钟，本地解码 64 tok/s、首 token 约 0.03s，可替代约 95% 的云端调用，最难的少数任务仍交给 GLM 5.3 或 Opus。
推荐理由：作者在同一 pi harness 下实测 NPU 加速搜索路由等环节，用同一任务横向对比本地 125B 与多档云端模型的表现。
TyrusRC 发布 mantis，一个本地代码安全审计工具，用 OpenGrep 做静态扫描、由 LLM 对扫描标记的代码切片做推理复核。支持作为 Claude Code 斜杠命令运行，也可作为独立 CLI 接入 Anthropic、Google、OpenAI、OpenRouter、Ollama 等 litellm 支持的提供商；提供 quick、deep、bugbounty、cve 等审计模式与 --fix、--skip-llm 等选项，除每日一次的 PyPI 版本检查外无任何出站网络调用。
推荐理由：原文给出了完整的安装方式、审计模式和流水线分阶段说明，读者可以直接按需选择用 Claude Code 或独立 CLI 跑本地代码安全审计。
andrewbakercloudscale 发布 claude-code-cost-sidebar，为 Claude Code 提供实时可见的成本与 token 用量侧边栏，随会话逐轮更新而非月底才看账单。需 Claude Code 2.1.287 及以上，依赖 git、jq、Node.js，成本按 Anthropic 公布的 API 费率从会话 transcript 逐轮计算；可选搭配 Claude Burst 网关显示计划限额和暂停压缩等额外信息。
推荐理由：原文详细说明了安装、成本计算原理和阈值设计，读者可以照着把这个实时成本面板跑起来并理解其局限。
GitHub 用户 Rishabh775 开源了 Optimus（jarvis），一个本地优先的个人 AI 助手，在 Ollama（本地）与云端模型间混合路由，默认云端为 longcat-2.5-preview-free，代码任务路由到 Kimi K2.7 Code，失败时回退到 mimo-v2.6-flash（$0.14/$0.28 per 1M tokens）。语音链路为 faster-whisper STT、openWakeWord 唤醒词（误触发率约 0.1%）和 edge-tts，内置 23 个工具覆盖记忆、shell、文件、网页、邮件、日历和 Home Assistant，每轮工具调用上限 12 次，并提供破坏性命令黑名单与确认门等安全防护。项目采用 MIT 许可证。
推荐理由：仓库完整给出了语音管线、混合路由、唤醒词训练和安全防护的具体实现，想自建本地语音助手可以直接复用这套做法。
AtomiJD 在 GitHub 发布 jdBasic，一个带字节码 VM 和 APL 风格数组运算的 BASIC 解释器，内置图形、GUI、声音、Web 和本地 AI。它提供 MCP 服务器，Claude Code、Cursor、Cline 等客户端可在程序运行中通过 jdb_eval 改变量、用 jdb_recompile 热替换修改后的 SUB 而不重启程序。支持经 LLVM 编译为独立 .exe，内置 llama.cpp 运行本地 LLM，解释器可跑在 RP2350 和 ESP32-S3 上，--target=kernel 还能编译成可裸机启动的 x86-64 操作系统。
推荐理由：作者本人展示了通过 MCP 让 Claude Code 在程序运行中改写 SUB 并热替换的方法，对想做 AI 结对编程的读者有直接参考价值。
作者开源了用于构建 RL 环境的 Seahaven 框架，以《楚门的世界》中的虚构小镇命名，MIT 协议，基于 Python 3.14+ 与 SQLite，全部本地运行。框架为每次运行提供独立 SQLite 实例、可复用 fixture、时钟与随机种子控制、状态 diff 日志，支持并行数百实例，兼容 OpenEnv 与 MCP，可发布到 Hugging Face；示例 Stripe World 含 24 张表和 155 个 API 操作，官方 Stripe SDK 可直接对接。
推荐理由：作者把可重置、可评分的 RL 环境层抽成开源框架，给出了每轮独立 SQLite 实例、状态 diff 和可复现性的具体做法，便于迁移到自己的 agent 评测。