方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
shipiit 在 GitHub 开源了 SHIPIT Agent，一个用于构建工具调用型 AI Agent 的 Python 运行时，提供跨 OpenAI、Anthropic、Bedrock、Vertex、Gemini、Groq、Together、Ollama 及 LiteLLM 100+ 模型的统一接口。内置 40+ 工具、17 个 SaaS 连接器、MCP 支持、RAG、多 Agent 编排、基于规则的权限层和提示词缓存；唯一硬依赖是 pydantic，Python 3.11+，MIT 协议，附 3500+ 测试。
推荐理由：README 详列了工具调用、权限层、MCP 熔断和延迟加载工具的具体实现，读者可以据此评估这套 Python Agent 运行时是否适合复用。
作者为 PrismML 的 Ternary Bonsai 2 27B 重训了原针对 bf16 Qwen3.8-27B 的 z-lab DFlash 2 drafter，用 1.5M tokens 的 Bonsai 2 贪心输出微调，并在 Hugging Face 放出 safetensors 和 Q4_K_M GGUF 权重。单张 L4 贪心解码下 GSM8K 2.17x、MBPP 2.17x、MATH-500 2.20x、MT-Bench 1.39x，代码编辑叠加 ngram-mod 后达 3.15x；M4 Pro 上代码补全 1.5x；浏览器内 LocalMind 的 WGSL 移植在代码上 1.18x 且输出一致。作者注明数据来自一台 L4 和一台 M4 Pro，并给出三套运行时的配置文档。
推荐理由：作者重训了投机解码 drafter 并给出三套运行环境的实测加速数据，本地部署 Bonsai 2 的读者可以直接复用配置。
开发者 airiclenz 在 GitHub 发布开源终端编码 Agent apogee，可指向 llama.cpp、Ollama、LM Studio、vLLM 等本地服务器，也可接 OpenAI 兼容端点、OpenRouter 或 Anthropic API，代码不出本机、无需 API key、可离线运行。
推荐理由：作者讲清了面向本地小模型的七项守护机制和操作系统级隔离的 Auto 模式，对想在终端跑本地编码 Agent 的读者有可借鉴的设计思路。
PeterGreenAppliedAI 在 GitHub 开源了 DevMesh LLM Gateway，一个自托管的安全与治理网关，为 Ollama、vLLM、OpenAI 等推理后端提供统一 API、鉴权、完整审计日志和按 key 的限流与 token 预算。安全层包括同步正则检测（约 1ms）和异步守卫模型（Granite Guardian 或 Llama Guard）扫描，不阻塞请求、零延迟；PII 检测覆盖邮箱、美国电话号、SSN、信用卡和 IP，审计日志只存 SHA-256 哈希，不保存原始 PII。守卫模型与正则的分歧可在控制台标注，并导出为 Llama Guard 微调格式形成训练闭环。
推荐理由：原文详述了自托管 LLM 网关的同步正则加异步守卫模型双层防御和闭环训练数据的做法，可作同类安全治理部署的参考。
deadeye636 发布 Switchboard 桌面应用的个人 fork（代号 deadeye），在同一个窗口统一管理 Claude Code、Codex、Antigravity CLI、Hermes 和 Pi 五个 CLI 的所有会话，支持启动、恢复、fork 和监控。功能包括注意力收件箱、暂存提示词、上下文窗口占用监测与一键交接、多后端 token 与成本统计、IDE 仿真和版本控制窗口；构建未签名，作者建议自行从源码编译，项目按 MIT 协议提供且不提供担保。
推荐理由：原文详列了这款多 Agent 会话管理桌面应用的功能清单与安全注意事项，读者可以据此评估是否适合自己的多 CLI 工作流。
TUFF 8.0 发布，这是一套在 Apple Silicon 上本地运行大模型的推理引擎，含原生 Mac 聊天应用、模型下载器、Swift 和 Metal 推理引擎、CLI 与本地 OpenAI 兼容服务器。它将共享权重保持在文件映射、按需读取 routed experts 到有界缓存，使 GPT-OSS 120B（65.29 GB）、MiniMax M2.7（128.71 GB）、Qwen3.8 Flash Next（110.90 GB）等超过内存的 MoE 模型能在 16 GB M2 MacBook Air 上通过冒烟检查。
推荐理由：原文详述了 MoE 专家流式加载的内存机制和 16 GB M2 实测记录，是了解 Apple Silicon 本地推理取舍的具体参考。
AnhDuongVo 发布 consult-to-note 开源工具，把医患对话转写生成 SOAP 病历笔记，每句话引用其来源转写行，数字、否定和左右侧由代码确定性校验，其余交给 LLM judge，不支持的句子修复一次后需临床医生批准才导出为 FHIR R4 文档。流水线基于开放模型经 OpenAI 兼容端点服务（默认 NVIDIA NIM 与 Nemotron），支持实时模式在问诊进行中以一秒延迟预算更新笔记，内置 Parakeet ASR、PHI 掩码、ACI-Bench 评测和 NIM/Dynamo 自托管基准，代码为 Apache-2.0 协议的研究原型，不是医疗器械。
推荐理由：原文详细说明了每句引用转写行的生成时 grounding 设计和代码先行校验的做法，读者可以借鉴这套可验证医疗笔记流水线方法。
vtuber-plan 开源了 Olah，一个自托管的轻量 Hugging Face 镜像服务，在用户下载时按文件块缓存资源，而非整站反向代理，支持 models、datasets、Spaces 镜像。后续下载直接读缓存以提速省带宽，管理员可通过 configs.toml 配置仓库的代理与缓存权限、缓存上限和 LRU/FIFO/LARGE_FIRST 清理策略，提供 pip、源码和 Docker（多架构镜像 xiahan2019/olah）三种安装方式，客户端设置 HF_ENDPOINT 即可使用，项目采用 MIT 许可证。
推荐理由：这是一个可自托管的 Hugging Face 镜像缓存工具，按文件块缓存与缓存策略配置的思路可迁移到团队内网加速下载。
vacterro 发布 SAIPEN，一个面向 AI 编码智能体的延续协议：项目记忆以纯文件形式存在代码旁的 .saipen/ 目录（STATE.md、BOARD.md、LOG.md、KNOWLEDGE/），冷启动智能体通过 /saipen continue 从持久化的 next_action 恢复工作，不依赖聊天历史或厂商记忆。安装需 Git 和 Python 3.11+，无 pip 依赖、无托管数据库或守护进程，支持 Claude Code、Codex、Gemini、OpenCode、Aider、Antigravity 等指令文件；仓库在每次 push 时自我校验，验证器检查阶段转换、工单依赖和恢复状态，并提供 33 种语言的文档。
推荐理由：项目把 AI 编码智能体的会话延续状态做成代码旁的纯文件协议并配机器校验，读者可了解其文件结构与恢复机制是否值得引入。
FreePeak 发布 xdev，一个用 Go 编写的终端编码 Agent，单平台静态二进制约 20–22 MB，CGO_ENABLED=0 可交叉构建 linux、macOS、windows 的 amd64 与 arm64 版本，目标内存占用低于 100 MB。它内置 read、write、edit、bash 四个核心工具，会话以追加式 JSONL 树存储、分支只移动指针，支持八种 wire 格式接入 OpenAI 兼容网关，并提供 TUI、rpc、acp、MCP 与子 Agent 等扩展面，许可证为 Apache-2.0。
推荐理由：原文详细记录了单二进制体积、内存上限和会话格式等设计取舍，对想自建编码 Agent 的读者有可参考的工程做法。
latere-ai 在 GitHub 发布 Topos，一个用于运行 agent 的开放核心，把 agent 定义、用户会话和驱动会话的循环统一在一个会话模式之上，解决会话随进程丢失、无法跨环境续跑的问题。核心由三部分组成：append-only 的会话日志、作为日志纯函数的模型转录，以及负责构建模型请求、执行工具调用和压缩上下文的 harness；runner 可运行在本地 topos 命令、嵌入应用或 toposd 服务端。
推荐理由：项目方完整交代了会话日志、harness 与 runner 的架构设计和已建未建清单，想复用会话持久化方案的开发者可以据此评估。
amarrtech 在 GitHub 开源 llm-slo-checker，面向 OpenAI 兼容流式 LLM 接口，用 YAML 声明 SLO 阈值，探测后输出 PASS、FAIL 或 INCONCLUSIVE 结论并以退出码 0/1/2 接入 CI。工具跟踪 TTFT p95/p99、成功率、完成率等 SLI，区分流中断与 500 错误，可在 GitHub Actions 每小时运行并把 JSON 历史提交到 git 形成趋势记录。当前版本不支持 Prometheus 导出、成本与输出质量 SLI 等，作者已列出后续计划。
推荐理由：把流式 LLM 接口的可靠性做成 YAML 声明的 SLO，用 git 记录趋势，方法可直接迁移到自己的监控流程。
Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub，推理在本机 GPU 完成，支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+，首次运行下载约 6 GB 模型，启动 30–60 秒，并提供 Docker Compose、WSL 和 Q8 量化（约 10.2 GB，显存 ≥12 GB）三条备选路线，对外暴露 OpenAI 兼容 API（http://127.0.0.1:8080/v1）。底层使用 llama.cpp 作为 GGUF 推理引擎。
推荐理由：原文给出完整的硬件要求、安装步骤和三条部署路线，本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。
作者将自用文档站中的智能体子项目「启明」抽出开源为 youlikeorange/wenming-agent，git clone 后 node standalone.js 即可运行，服务端零 npm 依赖，界面构建产物随仓库提供。模型走标准 OpenAI / Anthropic 协议且密钥只存服务端；核心取舍包括提示词全部可见可改、不用 MCP 的内置工具、纯 CLI 真进程执行、SKILL.md 技能按需加载，以及三层记忆、危险命令一次性票据授权和循环只在服务端托管运行等设计，附 217 个离线可跑的 Node 单测；仓库未附许可证，复用需先开 issue，当前版本 v2.1.0。
推荐理由：原文逐条讲清了提示词登记、无 MCP 内置工具和权限票据的做法，读者可以对照自己的 Agent 客户端考虑迁移。
ThMadHatter 在 GitHub 发布 llm-powersaver-proxy，一个运行在常开 LXC Debian 上的异步反向代理，可检测 Ollama/LiteLLM 端点状态并通过 Proxmox API 自动启动 VM/CT，支持 end-to-end 流式转发和可选 Wake-on-LAN。README 给出 LXC 创建、最小权限 Proxmox token 配置、安装验证、Nginx/Cloudflare 反向代理及 WOL 使用等完整步骤，并提醒勿暴露 8080 端口、为多 worker 需分布式锁。
推荐理由：原文给出从 LXC 创建、Proxmox 最小权限 token 到 Nginx/Cloudflare 流式排查的完整步骤，方法可直接照搬复现。
Graphos 是一个用 LSP 把代码、文档、论文、图片和音视频提取为上下文知识图的开源工具，支持任何有 LSP 服务器的语言，输出交互式 HTML、JGF 格式 graph. 和审计报告。相比 tree-sitter 的 25 个硬编码语法，LSP 提供符号、引用、调用层级和类型信息，跨文件引用原生支持；工具含查询、Leiden 社区检测、节点向量嵌入、MCP 服务器及 Obsidian、Neo4j 等多种导出格式，MIT 许可，可用 cabal 或 stack 安装。
推荐理由：作者用 LSP 替代 tree-sitter 提取代码结构来构建上下文图，并对比了两者在语言支持和语义信息上的差异，方法可迁移到自己的项目。
AdarGit008 在 GitHub 发布了 mcgyvr，一个命令行工具和 Agent 技能，用于把重排格式、排序 import、重命名符号、写函数或测试等限定编码任务交给可配置的 worker 阶梯。格式、import 排序、lint 修复和重命名先走确定性工具；模型任务按用户配置从最便宜的单位向上爬，默认最多 1 次升级，结果需通过确定性门槛才保留且默认不提交。支持仅绑定本地 llama.cpp 或 vLLM 服务器，API 模型可选，通过 install.sh 可同时安装到 Claude Code 和 pi 两个 harness，任务默认在一次性 Docker 容器中运行，需 Python 3.12+ 和 uv。
推荐理由：原文给出了完整的成本阶梯、确定性门槛与沙箱机制说明，读者可以直接照装上手，把小的编码改动交给更便宜的本地模型。
NobodyWho 发布了一个本地 LLM 推理引擎，可离线运行 GGUF 格式模型，无需 API key，提供 Kotlin、Swift、React Native、Flutter、Python 和 Godot 绑定。基于 llama.cpp 和 ONNX Runtime，支持 Vulkan/Metal GPU 加速、类型安全的工具调用、多模态输入、Kokoro 等语音合成、Whisper 语音识别和 Silero VAD；内存要求约为模型文件的 1.5 倍，推荐从 Qwen3 0.6B（约 330 MB）上手。项目还提供实现 OpenAI Chat Completions API 的实验性本地服务器，采用 EUPL-1.2 许可证，允许在专有项目中使用。
推荐理由：README 讲清了多平台绑定、内存要求与模型加载方式，想在各端本地跑 LLM 的开发者可以直接对照评估可行性。
作者在 GitHub 发布 forge agent 框架，核心 ReAct 循环约 235 行纯 Python，其余 31 个模块为可选层，仅依赖标准库、openai SDK 和 pyyaml。框架内置重试、模型回退、熔断器、写操作审批门、Docker 命令沙箱、多智能体辩论、SQLite+FTS5 知识库、跨会话记忆、语音级联管线（支持 barge-in）与人脸识别注入，可对接 DeepSeek、Qwen、vLLM、Ollama 等任意 OpenAI 兼容端点，附 373 个离线测试、中文 README，可通过 PyPI 以 pip install "handcraft-agent[server,device]" 安装。
推荐理由：以约235行可读的 ReAct 循环为核，把重试、熔断、审批门、沙箱等机制逐一摊开实现，读者可对照学习 agent 工程的完整做法。
该仓库完整记录了在两台 AMD Strix Halo 主机间用 USB4v2 链路做双卡张量并行（TP2）推理的搭建与运行经验，含自定义内核级流传输模块、gufo 侧 TP2 集成与运维脚本。实测 tbstream 传输 p50 延迟 22–23 µs 接近 RDMA 基线，Qwen3.8-Flash-Next Q4 双机 TP2 在约 62k 深度下 prefill 提升 34%，零拷贝无 NIC 路径；Q8 262144 上下文以 TP2 分片约 36 秒加载，单台 122 GB 主机装不下。流拆除时对端 mid-flight 导致的控制面失联（wedge）已定位并修复，自愈单元可在约 8 秒内自动恢复，最终 58% wedge 率压测中 7/7 自愈、零重启。
推荐理由：原文给出了完整的传输延迟、TP2 吞吐对比数据和复现指南，读者可以据此评估 USB4 双机张量并行方案的实际可行性。