方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
作者开源了 Kvad，一个用 Rust 从零手写的 LLM 推理引擎，目标是可读性和速度双达标，以 vLLM 和 SGLang 为基准。项目分五个 crate：nervus 从零实现反向传播并在 MNIST 上训练，kvad 从零做 Transformer 推理并支持四种架构和 HuggingFace 权重，kvad-gpu 用 candle 跑 Metal/CUDA，另有 kvad-tui 终端应用和 kvad-serve HTTP 服务与 web UI。
推荐理由：一个从零手写的 Rust 推理引擎，把每处算术和常数理由摆在代码旁，速度对标 vLLM 与 SGLang 的差距也如实写明。
good2idnan 在 GitHub 开源了 routeaudit 命令行工具，用你自己的日志回放请求到更便宜的候选模型，逐任务对比答案质量并给出路由策略。演示中 5 个请求全用 Haiku 成本降到 19% 但只有 58% 通过，按任务路由则在 26% 成本下保持全部通过；工具支持 Anthropic、OpenRouter、Ollama，提供成本估算与 --max-spend 硬上限，可导出 YAML 或 LiteLLM 配置，v0.1 暂不支持 agent 与工具调用。
推荐理由：工具用你自己日志回放并按任务类型给出降本建议，还内置花费上限，示例显示全用 Haiku 省钱但只有 58% 通过率。
kreuzhofer 在 GitHub 发布 slurm-llm-training-templates，提供 Slurm 集群上大语言模型微调、评测与推理的可用模板，涵盖 Qwen3.8-27B 的 LoRA 与全量微调、merge、评测与 serving，以及 GLM-5.3 用 vLLM 配 FP8 或 NVFP4 权重的推理。模板已在 2 × 8 NVIDIA B300 SXM6、Slurm 25.11.3（Soperator on Nebius）、CUDA 13.0 上验证，Qwen3.8-27B 模板的实测结果见 docs/RESULTS.md，采用 MIT 许可证。
推荐理由：仓库提供可直接复用的 Slurm 微调与推理模板，硬件环境、目录结构和实测结果文档都写清楚了，便于迁移到自己集群。
goashem 在 GitHub 开源了 LLMCommit，一个替代 git commit 的工具，读取暂存改动后交给 LLM 生成提交信息。默认先试本地 Ollama（qwen3:8b），失败后按 OpenAI、Claude、Gemini 顺序回退；支持多语言、conventional commits、--review 审阅和 .llmcommit. 配置，发送前会对私钥和 API key 等常见密钥模式做脱敏，项目代码主要由 AI 编程助手编写。
推荐理由：这个单文件提交工具默认优先本地 Ollama 并对密钥做脱敏，想给 git commit 接上大模型的读者可以参考它的多后端回退设计。
E2B 开源了 E2B Runtime，即驱动 E2B Cloud 的完整后端，包含控制面 API、Firecracker 编排器、VM 内 agent、边缘路由和模板构建器，以 Go 编写、Apache-2.0 许可。沙箱以快照恢复而非启动内核的方式创建，通过 userfaultfd 惰性加载内存页，支持暂停恢复、单次最多百个的运行中沙箱 fork、每沙箱 nftables 出口防火墙，并提供 E2B Cloud、单机 Embed 包和企业专属部署三种运行方式。
推荐理由：官方开源了支撑 E2B Cloud 的完整后端，讲清了快照恢复、控制面与数据面分离等可借鉴的架构设计。
artkoenig 在 GitHub 发布 resector，一个为本地模型设计的编码 Agent 上下文管理工具。它把上下文显示为带 token 数和前缀缓存状态的块列表，在每次请求前经 Review Gate 暂停供手动裁剪，也可用 TypeScript 编写的 Context Policy 自动执行 remove、edit、move、compact 等操作。内置 lean-compact 策略在 5 个合成会话对比中比全量压缩减少 95% 提示 token、93% 压缩时间，事实保留率 98%。支持 llama.cpp、Ollama、LM Studio、oMLX 后端，提供 darwin 和 linux 二进制下载，遵循 MIT 许可。
推荐理由：面向本地模型上下文窗口小的痛点，给出了手动与策略两种裁剪方案和缓存感知设计，可迁移到本地 Agent 工作流。
GitHub 项目 thekaveh/atlas 发布了一个自托管的生成式 AI、ML 与数据工程平台，用一套 Docker Compose 打包 30+ 服务，涵盖 LLM 推理、向量与图数据库、工作流自动化、分布式计算和可观测性。Kong 网关统一路由 *.localhost，LiteLLM 把本地与云端模型统一到一个 API，FastAPI 后端按启用的服务自动接线，Supabase 提供共享数据库、存储与身份；服务按 7 条轨道（如 gen-ai-rag、ML Engineering）预选组合，支持 --profile dev/prod，./start.sh 启动交互式 Textual TUI 向导，端口默认绑定 loopback，各面板无统一单点登录，项目采用 Apache License 2.0。
推荐理由：原文讲清了 30 多个服务如何通过 Kong、LiteLLM 和共享 Supabase 预集成，适合想自托管整套 AI 与数据栈的读者参考。
gymcoach-app 发布开源自托管健身追踪应用 GymCoach（MIT 协议），内置基于个人训练数据的 AI 教练，支持 Anthropic SDK 或任意 OpenRouter 模型，未配置密钥时仍是完整的训练记录器。Docker 一分钟自托管，数据存自有 Postgres，支持 Strong/Hevy CSV 导入、Garmin FIT/TCX/GPX 导入和 ChatGPT/MCP 连接器。该项目大部分日常改动由 Claude Code 在文档化的自动循环中完成，包括选题、实现、通过 lint/typecheck/测试门禁、独立 agent 对抗性审查 PR 并在 CI 通过后自动合并，完整流程公开于 docs/loops/。
推荐理由：这个开源健身应用把日常维护交给 Claude Code 自动循环完成，仓库内公开了完整可复现的 agent 维护流程和护栏。
argrouter 发布于 GitHub，按每条请求选择模型与推理强度，目标函数为 P(correct) − λ·预期成本，成本基于真实账单（含隐藏推理 token）而非标价。在 RouterArena（ICLR 2026，8,400 条查询）自动评测中得分 76.30，每千条查询成本 $0.55，提交正在审核中；provider 级实测显示任何价格感知排序较 OpenRouter 默认路由约省 40%。项目状态为 alpha，成本引擎、provider 选择与 /v1/decision 推理 API 已发布并测试，路由器训练与权重未包含在开源包中，pip 安装仅依赖 httpx。
推荐理由：原文给出了路由在 RouterArena 上的得分和带缓存基线的实测成本对比，并明确说明尚未测出路由本身的节省幅度。
minFrank 在 GitHub 发布 ai-jms-small-llm-builder 仓库，对应公众号「AI 积木师」本地 AI 栏目，每期一个目录收录代码、原始日志和复刻说明。已有两期实测：ep01 用无显卡的 Ryzen 7 5700G 跑 MiniCPM5-2B 小模型，生成 18.02 t/s、内存 2488 MB；ep02 为声音克隆一键包，117 字生成 28.8 秒音频、耗时约 167-192 秒。仓库规定每期必须有速度、资源占用、真实任务效果和门槛四类本机实测数据，数字须能在 logs/ 中溯源，不推收费模型且必须写明商用许可。
推荐理由：仓库把数据可溯源、失败案例和硬件门槛写成硬规矩，读者可借鉴这套本地小模型实测的组织方法。
timfromhcs 发布 Ternary Bonsai 2 27B Abliterated v2 的 PQ2_0 GGUF 权重，通过修改输出层一行让模型在答案写完后关闭推理，避免 v1 把答案写进推理导致预算耗尽出空白回答。在 StrongReject 150 条有害请求、16,384 token 预算测试中得分 0.941（151 中空白 7 次），优于 Hikari07jp 0.738、OS-Software Heretic 0.723 等其他消融版本；SimpleSafetyTests 拒绝率 0%，MMLU 相比原版降 0.56 点，是同类中代价最小的。
推荐理由：作者给出多组对照评测数据，包括与其他消融版本的横向对比和 MMLU 代价，读者可以据此判断这版去对齐的实际效果。
anyact-ai 在 GitHub 发布 world-use，让 AI 智能体通过 JSON 计划、wu 命令、MCP 或 Python 操作 Seeed reBot 机械臂。工具在模拟孪生上预演校验每个计划，越限即拒绝并给出通过数值，以 100 Hz 执行并在异常接触时停止。实测直接逐步驱动时机械臂仅 11% 供电时间在运动，分阶段规划后提升到最多 41%。软件早期阶段，已在模拟和一台物理 reBot 上测试，采用 Apache-2.0 许可证。
推荐理由：README给出了带模拟预演校验的机械臂Agent控制方案，并用11%对比41%的运动占比数据说明了分阶段规划的收益。
作者 mattn（Yasuhiro Matsumoto）发布纯 Go 机器学习框架 tensai，实现前向、反向传播与优化，默认构建零依赖，支持 AVX2/NEON SIMD 加速、int8/int4 量化与实验性 WebGPU 后端。
推荐理由：纯 Go 实现的机器学习框架，从 SIMD 训练到 WebGPU 推理和 GGUF 加载的完整工程细节都可参考。
flyer103 在 GitHub 开源了 vadis，一个本地优先的 LLM 网关，通过 http://127.0.0.1:8790/v1 一个端点原生服务 chat completions、responses 和 Anthropic messages 三种协议，面向 codex、hermes 和 Claude Code 等客户端。请求字节原样透传上游，仅允许删除 vadis 自有顶层字段和替换 model 为解析后的原生 id，内容确定性改写保证会话内上游前缀提示词缓存不被失效；每次请求留下含决策、用量和成本的 append-only trace 记录。
推荐理由：README 讲清了字节透传如何保住上游提示词缓存，以及按计划账号优先、计量账号按价格排序的路由规则，方法可迁移。
streamweights 发布开源工具 spill，可在 Mac 或 Linux 上本地微调和蒸馏比内存更大的 LLM，通过按层从磁盘流式读取全精度权重，让 48 GB MacBook 以满精度运行 141 GB 的 Llama 3.3 70B。实测在 M4 Pro 上用 500 条标注样本将 qwen2.5:0.5b 蒸馏出 banking77 分类模型，44 秒完成构建，成绩从基线 0.200 提升到 0.640。支持跨机器可移植的任务状态（s3:// 等路径）断点续跑，可通过 spill export 合并适配器并转 GGUF 供 Ollama 使用，数据不离开本机；目前 spill build 仅在 Apple silicon 上验证通过，NVIDIA CUDA 版待验证。
推荐理由：原文给出了在 48 GB MacBook 上流式运行 141 GB 模型并蒸馏出小模型的实测数据和耗时，方法可直接复用。
Crewship（crewship-ai/crewship）开源发布，为每个智能体团队提供真实 Linux 容器沙箱，可选用 Claude Code、OpenCode 或经 Ollama 运行本地模型作为引擎，并配 RBAC、审批、审计日志、Keeper 行为监控和加密备份等控制面。项目处于 open beta，目前仅支持单主机，各团队容器共享一个 Docker 网络尚无网络隔离，API 跨小版本可能变更，生产使用需固定 tag。
推荐理由：项目自述里明确标出每块功能的稳定与未完成状态，连安全边界和已知缺口也写清楚，可据此判断是否适合自用。
Yacine-ai-tech 在 GitHub 开源了 DocIntel，一个从发票、收据、合同、表单和财报中抽取结构化数据的视觉优先文档智能工具，支持 PDF、图片及 PPTX、DOCX、XLSX 文件。工具提供三条可按请求切换的抽取路由：Claude Sonnet 4.6 Vision 托管路由、基于 Ollama 自托管 Qwen 2.5-VL 7B 的无第三方 API 路由，以及 Surya OCR 加 LLM 清理的 GPU 路由，并叠加确定性归一化层处理 45+ 种货币和日期格式。项目在 650 份多来源语料上验证，Route A 在多语言发票字段上达 100% 准确率，Route B 全局样本为 89.9%，单文档默认支持最多 200 页，采用 AGPL-3.0 许可并另售商业许可。
推荐理由：项目给出三条可互换的抽取路由和完整基准数据，读者可以按成本与硬件条件选择自托管或托管方案。
AnranS 在 GitHub 发布 ai-infra-handbooks，一套 11 本、281 章、283 道练习的中文大模型推理学习手册，从 Python、C++、CUDA 学到从零实现推理引擎并导读 vLLM 与 SGLang 源码。全部示例代码经实际运行验证，含 17 周学习路线、浏览器判题、1979 张可导出 Anki 的学习卡与 mini-sglang 完整实现，文档采用 CC BY-NC-SA 4.0、代码采用 MIT 许可。
推荐理由：作者完整给出了代码验证方式、章节结构和17周路线，读者可以直接判断这套推理学习手册是否适合自己。
oxi 是一个本地优先的编程智能体，单个 Rust 二进制、无 Electron，空闲内存约 110 MB。它可从 HuggingFace 下载 GGUF 并自动安装运行 llama-server，支持 SSH 远程 GPU、LM Studio、Ollama，也可通过 ACP 使用 Claude Code、Cursor、Codex 订阅或各类托管 API，内置文件管理器、编辑器、Git 面板、终端、本地 Whisper 语音输入和 DuckDuckGo/Bing/SearXNG 网页搜索。支持 macOS（Apple Silicon）、Linux（x86_64）和 Windows（x86_64），数据与 API 密钥均留在本机并写入系统密钥链。
推荐理由：原文完整列出安装方式、模型接入和本地数据存放做法，想找一个不依赖 Electron 的本地编程智能体时可以据此评估是否上手。
kvelmurugan18 在 GitHub 开源 sycophancy-rl，一个通过多轮受控反驳的强化学习来降低 LLM 谄媚行为的可复现管线，奖励抵抗无效施压同时保留对有效更正的接受。管线支持导入用户数据集、4-bit QLoRA/GRPO 训练、同条件前后基准与配对统计对比，首发实验注册 Qwen/Qwen2.5-0.5B-Instruct，可在本地 GPU 容器或 Kaggle GPU 内核运行；仓库未声称任何训练提升，首个 Kaggle smoke 实验仍需操作者执行，代码采用 Apache-2.0 协议。
推荐理由：这是一个可复现的完整管线，从数据导入到训练前后的配对基准对比都有明确契约，适合关注谄媚行为微调的读者参考。