方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
GitHub 仓库 qibin0506/llm_trainer 发布，是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架，覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程，支持 8 种 GRPO 变体算子（grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo）。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度，通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值，支持多轮 Agent 强化学习交互与奖励折叠，并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。
推荐理由：原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段，读者可以对照自己的硬件环境判断哪些模块可直接迁移。
luftpause 在 Agent harness 与推理引擎之间增加运行时层，记住每次工具调用暂停的运行，让续接请求优先于批量任务调度。在一块 8 GB 笔记本 GPU 上引擎饱和时，交互式运行吞吐经代理为直连 SGLang router 的 2.0 倍、经 MCP 子 Agent 为 2.7 倍，批量吞吐分别损失 9% 和不变；关键在于严格运行亲和性把运行固定在持有其 KV cache 的副本上。支持 OpenAI 兼容代理与 MCP 两种接入，提供 spawn/await 子 Agent、运行日志恢复、预算与工具审批，已列入官方 MCP Registry，采用 Business Source License 1.1 并在发布四年后逐版本转为 Apache 2.0。
推荐理由：作者给出饱和负载下的对照实测数字和准入策略拆解，能看出调度收益来自哪一层，而非笼统跑分。
melnikaite 在 GitHub 发布自托管离线优先语音助手 voice-assistant，全部运行在本地硬件，无需云端 API key，多数任务可断网使用。默认栈为 LocalAI（llama.cpp）跑 Qwen3-VL-8B-Instruct 32k 上下文、whisper.cpp 流式 ASR、Coqui XTTS-v2 流式 TTS（6 秒样本克隆家庭成员声音），并带 WeSpeaker 说话人识别、语义记忆、个人条目库和 AppleScript/视觉回路的桌面自动化；破坏性操作由提示层、静态分类器和点击过滤三层只读闸门拦截。代码 MIT 协议，XTTS-v2 权重为 Coqui CPML 非商用许可。
推荐理由：项目文档给出了完整的技术栈选型、离线边界和桌面自动化的三层只读防护设计，想自建本地语音助手可以参考其架构取舍。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
tashfeenahmed 发布 FreeLLMAPI，将 34 家提供商的 635 个免费模型端点聚合为单一 OpenAI 兼容 /v1 API，宣称合计约每月 74 亿 token 免费推理容量。路由器按速度、能力、可靠性评分选模型，429/5xx 时自动冷却并切换下一家，按 key 跟踪 RPM/RPD/TPM/TPD 以不超各免费档上限；密钥 AES-256-GCM 加密存于本地 SQLite，目录每日两次从 freellmapi.co 拉取签名更新，免费版滞后 30 天，Premium 实时目录 $19/年。
推荐理由：原文给出了聚合 34 家免费档位的具体规模和路由、限流跟踪机制，读者可以据此评估自建免费推理池的可行性。
kuchris 在 GitHub 发布 openinterview，面向 Apple Silicon Mac 的本地低延迟语音识别与 AI 面试练习工具。支持 MLX Whisper、NVIDIA Parakeet 或 Apple SpeechAnalyzer 在设备上转写通话双方，最终延迟约 1–2 秒，音频不出本机；可识别技术与行为面试问题并忽略寒暄，通过 OpenCode（如 DeepSeek）或任意 OpenAI 兼容服务生成可口头表达的简短答案，并按导入的 CV 和目标岗位定制。支持英语、日语、简繁中文和粤语，会话可本地保存回放，需 macOS 14.2+。
推荐理由：开源的 macOS 面试练习工具，本地转写双方通话并按 CV 生成口头答案，隐私设计和延迟数据写得具体。
al2m4n 发布 TheYgent，一个自托管、无代码的 AI Agent 编排平台，通过可视化画布组合 LLM 步骤、工具、MCP 服务器、RAG、路由和人工审批节点。内置本地推理支持 llama.cpp、Apple Silicon 上的 MLX 和 NVIDIA GPU 上的 vLLM（实验性），也可接入任意 OpenAI 兼容 API；默认无遥测、可完全离线运行，发布版本不可变可回滚，并提供 Claude Code AI 网关与面向编码 Agent 的 MCP 服务器。许可证为 Sustainable Use License，自用免费，商业化转售或托管服务需授权。项目地址：https://github.com/al2m4n/TheYgent
推荐理由：原文完整列出了可视化编排、内置本地推理和隐私架构等能力，还给出部署方式与许可证条款，便于评估是否自托管。
tbphp 发布 GPT-Load 2.0，一个自托管 AI 网关，将多渠道、多凭据的 API key 与订阅账号统一在单一入口后管理，支持流量调度、故障隔离、请求日志和用量统计，客户端保留 OpenAI、Anthropic、Gemini 原生协议。2.0 为完全重写，无法原地迁移 1.x 数据，需用独立数据库和 DATA_DIR 部署；默认 Docker Compose 部署并支持 SQLite、MySQL 或 PostgreSQL，内置 Codex、Claude、Antigravity、Grok 等订阅渠道的 OAuth 接入。
推荐理由：原文给出多渠道凭据调度、故障隔离和部署细节，读者可据此评估这个自托管 AI 网关是否适合自己的多上游接入场景。
GitHub 项目 kvscope 发布，包含一个 KV cache 感知的 LLM 推理网关和它的数字孪生调度模拟器，网关订阅 vLLM 的 KV 事件、维护全局前缀索引并按策略路由请求，孪生用网关记录的真实流量做影子评估、保真度检查和容量规划，再通过控制接口热切换策略。实测在 RTX 5070 上双 Qwen3-0.6B 实例中，从 round_robin 切到 prefix_affinity 后前缀命中从 78.0% 升至 87.6%，TTFT p90 从 15.6 ms 降到 9.9 ms；作者同时指出模拟器可比较策略与命中率，但绝对延迟低估 2 到 4 倍，不能用于预测真实延迟。
推荐理由：作者给出模拟器与真实集群在命中率和策略排序上的对照数据，也如实标注绝对延迟低估 2 到 4 倍的边界。
junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包，基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash（320B 总参数、约 18B 激活），对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测，去对齐编辑相对未编辑版本 NLL 高 0.46%，解码慢 12-24%，峰值内存多约 13GB；相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。
推荐理由：作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据，可据此评估这次去对齐编辑的实际代价。
MaxKharlan 发布 next-experiment，一个在 Nebius Token Factory 上诊断微调失败原因并做因果验证的智能体。它先按概率排序可能病因，用最便宜的探针和 fix/control 对照实验确认病因，确认后才在批准后重训。演示案例中 Qwen3-0.6B 因学习率 1e-5 过低只答对 14% 的 200 条 held-out 查询，4 个 Post-training job 证实病因后重训达 42.5%，全程约 $0.075。基准在 13 个 Token Factory 任务上对比四种方法，Next Experiment 9/9 找到病因、0 误报，成本比 ReAct 低 30%。仓库含 HTTP API、调查回放页面、权重探针与完整文档，Apache 2.0 许可。
推荐理由：原文给出基准对比数据，这个诊断智能体以低 30% 的成本达到与 ReAct 相同的病因定位成功率，方法可迁移到自己的微调排查。
Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。
推荐理由：这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。
Nace.ai 的 Ye 发布开源（Apache 2.0）推理引擎 Kapitsa，专为 Apple Silicon 定制 Metal kernel，仅支持 Qwen 和 NVIDIA Nemotron 两个模型家族，用于在 Mac 本地跑编码 Agent。速度来自按架构定制的 Metal kernel、投机解码（DFlash2、DFlash、DSpark、LiLiCorr）、混合模型的 KV 加循环状态缓存、27B 与 Bolt 部分预填充跑在 Neural Engine、并发请求共享 GPU pass。
推荐理由：作者逐项拆解了推理加速来源，并给出三档 Mac 上与多个主流引擎的 tok/s 对照表，还提供 CLI 让读者自测提交结果。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版，552B 参数 MoE 压缩到 152 GB，可在 RTX 4090（24 GB）加 90 GB 内存的家用 PC 上运行，需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑（manifest id adea0515bbf69a0b），拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝；8K 预填充 239.8 tok/s，解码 12–13 tok/s。短 Gauntlet 测试 2/5，比作者此前 V4.1 v2 量化版（4/5）有回退，原因尚未定位；校准后重做的 V3 版本正在上传。
推荐理由：作者给出了拒绝探针、困惑度和速度的实测数据，还说明了量化分配与拒绝方向编辑的具体做法，可据此评估这个本地化版本。
intrusive-memory 开源 SwiftVinetas，可在 Apple Silicon 上完全本地运行，通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格，并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存，PixArt-Sigma XL 约 10 秒、需 8 GB；支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型，与本地引擎通过 EngineRouter 并存；所有生成的 PNG 都内嵌元数据。
推荐理由：这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案，含内存占用与每格生成耗时，方法可迁移。
chinkan 在 GitHub 开源了 RustFox，一个用 Rust 编写、可自托管的 Telegram AI 智能体助手，以单个二进制文件分发，cargo install 后约 2 分钟完成设置。它运行 agentic 循环调用沙箱工具（文件读写、命令执行、经 MCP 的网络搜索），用 SQLite 加向量 RAG 做持久记忆，支持技能与子智能体、多 Bot 多人格、cron 任务调度、运行时模型切换与 fallback 链，默认走 OpenRouter，也可接本地 Ollama 或任何 OpenAI 兼容端点，并内置 Web Portal 和自我升级功能。
推荐理由：原文完整列出了工具调用、SQLite 加向量 RAG 记忆、多 Bot 人格隔离等实现细节，可按需自部署到 Telegram。
rskulles 发布 ButterKnife，一个本地网络聊天客户端，可连接 Ollama、LM Studio 及任何 OpenAI API 兼容服务器（vLLM、llama.cpp），也可接入 Anthropic key 使用 Claude。每平台单文件、无需 Docker 或数据库，聊天数据留在本机；Code 标签页为自有模型提供类似 Claude Code 的编码智能体，模型读项目、改文件、跑测试，每步需用户批准，兼容 .claude/ 目录的 commands 和 skills。支持手机扫码多设备同步、双模型对比、/image 生图、Whisper 语音输入、上下文接近上限时自动摘要旧对话。
推荐理由：原文详细列出了连接 Ollama、LM Studio 等本地模型服务器的配置步骤和 Code 编码智能体的权限机制，便于判断是否适合自托管。
banchen21 在 GitHub 发布 llm-gateway，一个本地网关，对客户端说 Anthropic Messages API，对上游说 Anthropic 或 OpenAI Chat Completions API，双向转换且支持 SSE 流式。它归一化 thinking、output_config 等易被第三方实现拒绝的字段，支持模型别名映射、按客户端签发和吊销入站密钥、可读请求日志（不含消息正文），提供桌面窗口和浏览器两种 GUI，监听 127.0.0.1:8787。未实现 Responses API，count_tokens 为字符估算而非真实 tokenizer；预编译二进制覆盖 Windows、Linux 和 macOS，macOS 仅含 headless 服务端，MIT 许可。
推荐理由：本地网关在 Anthropic 与 OpenAI 两种协议间双向转换请求和流式响应，并给出模型别名、密钥管理和请求日志等落地细节。
作者 /u/dead-fish 在两张 CMP 170HX（PCIe Gen2 x4）上优化 Qwen 3.8 Flash Next，使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms，聚合 840 tok/s；prefill 4k–64k 提示为 6,300–7,100 tok/s；HumanEval 157/164（95.7%）、GSM8K 1,271/1,319（96.4%），使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由：作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据，可复现且方法透明。
androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包（mcg 码本），仅对每层 288 个 routed experts 量化，非路由张量保持源生精度，权重共 152 GB，面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%，与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内；调优配置下 KV 池 3,891,200 tokens，前向延迟平均快约 15%。
推荐理由：作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比，并标注了各数字对应的复现配置。