方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
HaseebKhalid1507 发布 Axon，一个用 Rust 从零编写的 LLM 推理引擎，支持 Qwen2、Qwen3、Llama 3、Gemma 3 的 GGUF 模型在 CPU 和 NVIDIA GPU 上运行，另支持 Qwen3-30B-A3B 架构的 MoE 和 gpt-oss-20b（注意力在 GPU、专家在 CPU）。项目约 76k 行 Rust 和 7k 行 CUDA，不依赖 ggml、BLAS 或构建期 CUDA toolkit，GPU 内核经 NVRTC 运行时编译；每条优化路径与参考路径逐位一致，并用 gguf-py、Hugging Face tokenizer 和 Ollama 三个独立基准校验。
推荐理由：作者用 Rust 从零实现推理引擎，并给出与 llama.cpp 和 ollama 在多款 GPU 上的逐项对比数据，可据此评估其性能主张。
dklymentiev 发布开源终端 AI Agent Flint（MIT 协议），以单个 npm 包安装，无需 Python、Docker 或后台服务，支持 OpenRouter、OpenAI、Anthropic、Google、Groq、Together 和本地 Ollama。/model free auto 会筛选能调用工具的免费模型并按速度和在线率排序，配两个跨厂商 fallback；内置文件读写、shell、网页搜索、持久记忆、子 Agent 和 MCP 工具，通过 swap 到磁盘和压缩控制长会话成本，风险操作默认先询问。
推荐理由：开源终端 Agent Flint 支持免费模型并给出上下文换页与压缩的省 token 机制，想低成本跑 Agent 的读者可以参考它的做法。
PelerYuan 在 GitHub 开源 SlotServe，将一张 GPU 变成实验室或小团队共享的可预约推理服务。用户在网页日历上预订独占时段，通过 OpenAI 兼容端点和个人 API key 调用模型，系统自动托管 llama-server、学习各模型加载时间并在预约开始前预加载。支持 .gguf 模型下载、用量仪表盘、Telegram 通知、Prometheus 指标，单容器部署仅需 SQLite 和三个挂载目录，采用 MIT 许可证。
推荐理由：一个把实验室单张 GPU 变成可预约共享推理服务的开源自托管方案，按预约切换 llama-server 模型并预热，部署思路可直接照搬。
/u/WeGoToMars7 发布 Tinkerbox 应用，可在 Apple Neural Engine 上运行 LiquidAI d1-3B 决策模型，M5 Pro 上热启动短上下文（<256 tokens）决策延迟约 40 ms。该实现用树结构单次评估多个决策以降低延迟，并集成 Shortcuts，可对收邮件、iMessage、文件修改、定时和闹钟等触发事件执行决策而无需写代码。源码与 AOT 编译模型已在 GitHub 和 Hugging Face 开放，作者还在开发基于 Qwen3.5 的 vLLM d3 模型集成，0.8B、2B 和 4B 版本即将推出。
推荐理由：作者实测给出 M5 Pro 上约 40 ms 的短上下文决策延迟，并解释了决策模型适配 ANE 的原因，方法可迁移到本地部署场景。
开源项目 Locally Uncensored 发布 v3.0.7（2026 年 10 月），把聊天、图像与视频生成、编码 Agent 和工具 Agent 集成进一个免 Docker、免终端的桌面应用，本地模式下全部在本机运行，AGPL-3.0 协议。3.0.7 新增 REA 逆向分析插件、LU Cloud 接入 DeepSeek V4.1 Flash 1017、聊天分支与角色卡转 persona，并首次推出 Android APK（iPhone 应用在 App Store 审核中）。
推荐理由：项目方给出了与 Open WebUI、LM Studio 等工具的逐项功能对照表，以及 46 个云端模型实测中 19 个无拒绝、5% 拒绝率的数据。
jschm42 在 GitHub 发布自托管、本地优先的生成式 AI 角色扮演工作室 TaleWeaver（v0.6.0-beta）。AI 担任全知 Gamemaster 动态生成世界与剧情，后台执行严格的两段式 RPG 规则书；支持漫画风回合呈现、Gemini 3.5 Flash TTS 与 ElevenLabs 配音、本地 Whisper 语音输入、沙箱化 Python 事件脚本、双层级世界校验与一键 AI 修复，以及里程碑自动存档的 Chronicles 时间线回滚。
推荐理由：原文给出了完整的架构与模型分工表，读者可以据此评估这套自托管 AI 角色扮演工作室的部署成本与玩法。
Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端，自 2026 年 10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。
推荐理由：官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本，便于评估是否迁移到 Trainium。
曾在 OpenRouter 榜首停留 10 天、10 月 5 日消失的匿名模型 Space Bunny 确认为 MiniMax M3.1 Flash，API 已上线，权重定于 10 月 23 日放出。参数为 428B 总量 / 23B 激活，1M 上下文，支持文本、图像和视频输入，API 价格 $0.15 输入 / $0.60 输出；官方称在 automation-bench 上超过 Opus 5，在 deepswe 上与 DeepSeek V4.1 Flash 大致持平，terminal bench 上则明显落后（38.1 对 51.8），这些均为 MiniMax 自测数据。作者估算 Q4 量化约 230-250GB，适合 256GB Mac Studio 本地部署。
推荐理由：作者把匿名模型与正式发布对上号，并提醒榜单数字全部来自 MiniMax 自测，读者可据此校准预期。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine
推荐理由：香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。
作者 bxzex 发布了可免费安装的本地 AI 应用 bxzex-ai，在 Mac、Linux 和 Windows WSL 的终端里运行，断网可用，数据不离开本机，支持对话、联网搜索、看图、生图、语音输入、记忆和通过 MCP 连接 Gmail、Slack、GitHub 等 1600 多个应用。Mac 需 Apple Silicon 和 16GB 内存、约 23GB 磁盘空间，Linux 需 12GB 显存或 16GB 内存；内存不足时自动换用更小的 lite 版本，8GB 机器无法运行。另推出网页版 app.bxzex.com，同一模型但消息会经过服务器，免费额度加每月 11 美元的 Pro 档。
推荐理由：作者本人开源的本地终端 AI 助手，README 详列硬件门槛、双版本差异和卸载方式，想本地跑模型的人可以照着自查。
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
zengate 是一个 OpenAI 兼容的本地网关，通过运行真实的 OpenCode CLI（opencode serve）作为私有后端，让用户无需 Zen 账号或上游 API key 即可调用 big-pickle 等 OpenCode Zen 免费模型。支持 Chat Completions、Responses API、流式输出、function calling、JSON 输出及图像、音频、视频和 PDF 输入。每个请求转为一次短生命周期的 OpenCode 会话并事后删除，OpenCode 沙箱化运行且仅监听 127.0.0.1，所有工具权限被设为 ask 并由网关自动拒绝。
推荐理由：README 写清了免上游密钥的原理、每请求 6–9k token 开销和 1–3 秒延迟等代价，以及沙箱隔离与工具拦截机制，部署前可直接评估适用性。
nofacedfl 发布基于 Xiaomi 约 1 万亿参数 MiMo-V2.6-Pro 的 abliterated "heretic" 基座的约 2-bit 量化版（300 GB，GGUF 分片），适配 Maya 引擎并带独立视觉塔，MIT 许可。实测在 5× RTX 4090 48 GB + 2× A100 40 GB 上代码生成 71–75 tok/s、200K 上下文 38–40 tok/s，支持 512K 上下文与约 1.6 秒的图像输入；abliterated 基座在该量化下 40 道 JailbreakBench 请求仍拒答 24 题，运行时拒绝向量可将拒答降到 1–5/40 但会增加编造答案，暂未随包发布。
推荐理由：原文给出拒绝率实测数据，abliterated 基座经量化后 40 题仍拒答 24 题，读者可据此判断去对齐的实际程度。
michaelkrauty 在 GitHub 发布 llamesh，一个面向 llama.cpp 的 OpenAI 兼容网格代理，可跨一台或多台机器管理 llama-server 实例的生成、驱逐、负载均衡与集群路由，对客户端暴露标准 OpenAI API。
推荐理由：原文给出完整的配置示例与功能清单，读者可以直接照着部署一个跨机器的 llama.cpp 集群代理。
GitHub 仓库 qibin0506/llm_trainer 发布，是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架，覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程，支持 8 种 GRPO 变体算子（grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo）。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度，通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值，支持多轮 Agent 强化学习交互与奖励折叠，并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。
推荐理由：原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段，读者可以对照自己的硬件环境判断哪些模块可直接迁移。
luftpause 在 Agent harness 与推理引擎之间增加运行时层，记住每次工具调用暂停的运行，让续接请求优先于批量任务调度。在一块 8 GB 笔记本 GPU 上引擎饱和时，交互式运行吞吐经代理为直连 SGLang router 的 2.0 倍、经 MCP 子 Agent 为 2.7 倍，批量吞吐分别损失 9% 和不变；关键在于严格运行亲和性把运行固定在持有其 KV cache 的副本上。支持 OpenAI 兼容代理与 MCP 两种接入，提供 spawn/await 子 Agent、运行日志恢复、预算与工具审批，已列入官方 MCP Registry，采用 Business Source License 1.1 并在发布四年后逐版本转为 Apache 2.0。
推荐理由：作者给出饱和负载下的对照实测数字和准入策略拆解，能看出调度收益来自哪一层，而非笼统跑分。
melnikaite 在 GitHub 发布自托管离线优先语音助手 voice-assistant，全部运行在本地硬件，无需云端 API key，多数任务可断网使用。默认栈为 LocalAI（llama.cpp）跑 Qwen3-VL-8B-Instruct 32k 上下文、whisper.cpp 流式 ASR、Coqui XTTS-v2 流式 TTS（6 秒样本克隆家庭成员声音），并带 WeSpeaker 说话人识别、语义记忆、个人条目库和 AppleScript/视觉回路的桌面自动化；破坏性操作由提示层、静态分类器和点击过滤三层只读闸门拦截。代码 MIT 协议，XTTS-v2 权重为 Coqui CPML 非商用许可。
推荐理由：项目文档给出了完整的技术栈选型、离线边界和桌面自动化的三层只读防护设计，想自建本地语音助手可以参考其架构取舍。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
tashfeenahmed 发布 FreeLLMAPI，将 34 家提供商的 635 个免费模型端点聚合为单一 OpenAI 兼容 /v1 API，宣称合计约每月 74 亿 token 免费推理容量。路由器按速度、能力、可靠性评分选模型，429/5xx 时自动冷却并切换下一家，按 key 跟踪 RPM/RPD/TPM/TPD 以不超各免费档上限；密钥 AES-256-GCM 加密存于本地 SQLite，目录每日两次从 freellmapi.co 拉取签名更新，免费版滞后 30 天，Premium 实时目录 $19/年。
推荐理由：原文给出了聚合 34 家免费档位的具体规模和路由、限流跟踪机制，读者可以据此评估自建免费推理池的可行性。