方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
arXiv 论文（arXiv:2610.19614）提出将 LLM Agent 轨迹视为动作与环境观测共享嵌入空间中的路径，同一任务的成功与失败 rollout 在该空间中可分离，简单判别器在三个 Agent 基准和三个策略模型上预测 held-out rollout 结果最高达 0.95 AUROC。作者进一步推出基于 transformer 的 Precog-RM，通过元学习使结果预测可在 few-shot 设定下泛化到未见任务和模型，并在轨迹终止前给出置信预测。部署为 GRPO 在 Tau2-Bench 上的早停控制器时，最多削减 47.3% 训练 FLOPs 且性能与基线 GRPO 相当。
推荐理由：论文给出跨三个基准和三个策略模型的 AUROC 数据，并量化了 GRPO 训练最多省 47.3% FLOPs 的收益。
论文提出 Selective Rank-Preserving SFT（SRP-SFT），用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系，并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中，三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT；种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%，四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由：论文给出 SRP-SFT 的可行域刻画与多种子实验数据，读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
UC San Diego 等机构在 arXiv 发布 JetSpec++，通过块内自修正、块间前瞻草拟和草拟与验证流水线重叠，将草拟的边际耗时降到接近零。相比自回归解码最高加速 7.45 倍，相比 DSpark 最高 1.54 倍，在 GB200 上单请求达每秒 1,361 token，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开放。
推荐理由：论文给出 JetSpec++ 的三个组件和与 DSpark、自回归解码的加速对比数据，读者可据此评估该推测解码方案的适用性。
arXiv 论文 2610.19801 提出 Delta Tokenizer，一个只对会话请求增量部分做分词的 CPU 前端，并支持长请求的多核分段并行编码，输出与参考分词器完全一致。增量路径比 Hugging Face 参考分词器快约 40x，16 核下分段并行比串行快 8.2x、比 LoPT 快 1.6-2.1x；接入 SGLang 后 100K tokens 时中位 TTFT 降低 59%，Agent 会话 P99 TTFT 在负载下降低 9.5x、长请求占满前端时降低 23x。增量路径与快速编码器已在 toktier 仓库开源，分段并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库发布。
推荐理由：论文给出了与 Hugging Face 参考实现和 LoPT 的具体加速对比，以及 SGLang 内的 TTFT 实测数据，可评估该方案的实际收益。
Reddit 用户 /u/NickReese 分享了三台 4x ASRock Radeon AI PRO R9700（32GB）本地推理机的搭建与实测，单机含税运费约 $10,733.91，采用 $127.17 的二手 EPYC 7452 替代 Threadripper，三台共 384GB VRAM，用于其枪械行业信息业务 USA Arms 的数据抽取。推理栈为 vLLM-Radiance 1.0.387（vLLM 0.30.0、ROCm 7.14），每台跑两个 TP=2 引擎运行 Qwen3.8-27B-FP8，FP8 KV cache 加 MTP 8 draft tokens；16 用户 MT-Bench 聚合 484 tok/s，32K 上下文预填充 6,696 tok/s。
推荐理由：作者给出三台 4x R9700 本地推理机的完整 BOM、vLLM 实测吞吐和 FP8 与 MXFP4 的准确率对比，数据可直接用于自建参考。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
GitHub 项目 oney-erge/YBM 发布，这是一个运行在本地机器上的 AI Agent，可通过网页、Telegram 和 WhatsApp 访问，把消息变成直接回复或可追溯任务，支持文件、终端、Chrome、VS Code、桌面控制、定时任务、MCP 服务器和编码 Agent 等工具。每个任务按 Plan、Approve、Execute、Verify、Receipt 五阶段执行，可随时中止；终端、文件写入、浏览器和桌面控制等高风险能力默认关闭，审批精确、限时且一次性使用，任务保留审计记录。可用 Ollama、LM Studio、LocalDeploy 等本地模型或 API key，Windows 测试最充分，桌面控制在 Windows 才可用；目前为 alpha 软件，MIT 许可。
推荐理由：开源本地 Agent 项目 YBM，用 Plan 到 Receipt 五阶段流程让每步高风险操作可审批、可追溯，适合想在自己电脑上放手跑任务的人。
Reddit 用户 /u/ironicstatistic 发帖感谢 Basalt 作者，Basalt 是面向 Blackwell 硬件的 Strata 分支。作者用 5060 Ti 16GB 加 32GB 内存在 128k 上下文下跑出 75 tok/sec 生成和 1200 prefill（q2 量化模型），代价是 KV cache 需用 q4 且系统仅剩约 5GB 内存可用；还请 deepseek4 帮忙加了 build flag 来分配更多内存。作者称 Basalt 作者曾主动联系解答问题，项目地址为 https://github.com/jesdga95/basalt。
推荐理由：作者给出了 16GB 显存加 32GB 内存的实测吞吐和 KV 量化取舍，低配 Blackwell 用户可据此预估自己的可行配置。
作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA，仅用开源环境训练，声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium，在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high，比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。
推荐理由：原文给出了 token 减量和 KV cache 压缩的具体数字，还附带 24GB 显卡上的上下文对比，便于评估实际收益。
Xananthium 在 Hugging Face 发布 REDCELL-26B-A4B-OSINT-Cyber-Abliterated-Pilot-W6A8-Vision，对 terrorswift 的 REDCELL（Gemma 4 26B-A4B 微调）做 abliterated 权重编辑并导出 W6A8 量化。16 条保留集拒绝标记从 16/16 降到 4/16，能力探针保持 19/20，工具调用、工具失败后改道和简单图像识别均通过；使用 Heretic 的保幅值正交消融加 rank-3 修正，编辑覆盖 30 个注意力输出投影、30 个稠密 MLP down 投影和 3,840 个专家 down 投影，路由器和视觉模块保持 BF16。
推荐理由：作者给出了消融前后的拒绝率对照、能力探针和 KL 数值，还标注了未测项，读者可自行核对这个 W6A8 版本的实际取舍。
TheSlopMachine 在 GitHub 发布 llm-router，一个 OpenAI 兼容的单二进制模型路由网关，Go 后端加 Svelte 面板、SQLite 存储，运行时无 JavaScript 依赖。它统一多供应商与多账号端点、避开限速并通过自动代理绕过区域封锁，同时支持 OpenAI 和 Anthropic 兼容格式，可经 Lua 插件目录接入免费供应商。安装可从 releases 下载或源码 make install，经 .env 或环境变量配置后默认在 8080 端口启动面板与 /v1 监听。仓库地址：https://github.com/TheSlopMachine/llm-router
推荐理由：仓库页面直接给出安装、配置和接入步骤，读者可按说明把多模型路由网关跑起来并复用 Lua 插件接免费供应商。
maternion 在 Hugging Face 发布基于 openbmb/MiniCPM-V-4.7-1B 的去对齐 GGUF 量化版，用 heretic 的方向消融流程从权重中移除拒绝方向。404 次试验后拒绝率为 21/100，KL 散度 0.0122，作者称数值上接近基座模型、保留推理、工具调用与视觉能力。提供 Q4_K_M 到 F16 共 4 档量化（641 MB 至 1.9 GB）及视觉投影 mmproj-F16.gguf，可在 llama.cpp、Ollama、LM Studio 等 GGUF 兼容运行时运行，Ollama 注册表同步发布。
推荐理由：原文给出了拒绝率 21/100 和 KL 散度 0.0122 的实测数据，可据此判断该去对齐版本的去拒答程度与能力保留情况。
Avicennasis 发布了 MiniCPM-V-4.7-35B-A3B 的拒绝消融版 MLX 4-bit 量化，基于 openbmb 的 Apache-2.0 基座，约 23 GB、5 个分片，是首个 abliterated MiniCPM-V-4.7 的 MLX 版本。仅改动语言模型，视觉部分保留 bf16；自测红队中双用途拒绝从 8/18 降至 0/18、敏感类从 15/16 降至 0/16，工具调用 248/280 基本无损，与基座的 KL 散度为 0.101，无统计显著回归。峰值显存约 24 GiB，32 GB 以上 Apple Silicon 可跑。
推荐理由：作者用统一红队协议给出消融前后的拒绝率和能力回归数据，本地用户可据此判断这个 MLX 4-bit 版本的可信度。
AtomicChat 将 inclusionAI 的 Ling 3.1 flash 中的拒绝行为从权重中投影移除，烘焙成 GGUF 版本发布在 Hugging Face。验证集上英文拒绝率从 98.1% 降到 2.9%，俄语从 68% 降到 0%，无害提示几乎不受影响；方法是对写入残差流的全部 213 个矩阵施加 W' = W - 1.25·r·rᵀW 的方向编辑，遵循 Arditi et al. 2024 的单方向拒绝机制研究，采用 MIT 许可。
推荐理由：原文给出了拒绝方向消融的具体方法和英俄语拒绝率前后对比，并附随机方向对照，可自行判断改动效果。
Zellige AI 开源 Tessera-27B-B-CJK，一个基于 Qwen3.8-27B 的编码 Agent 模型，以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗，思考过程与输出分离，回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座：每轮思考 token 降至基座的 0.50-0.64 倍，88 轮匹配测试中工具调用 100% 有效、零重复循环，101K-131K token 提示下 6/6 工具调用有效；竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤，基于基座自身输出构建。
推荐理由：原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程，可了解用压缩 CJK 思考省 token 的具体做法。
Reddit 用户 /u/Ok-Director4174 发布了免费开源桌面应用 Kokon，基于 stable-diffusion.cpp（ggml）运行 Qwen-Image 2.1 Turbo Q4_K 与 Qwen3-VL 8B 文本编码器（约 12 GB GGUF），无需 Python 和 PyTorch，首启自动检测 GPU 并下载匹配权重。应用提供 Change / Remove / Replace / Add 的笔刷式照片编辑、撤销与前后对比，内置 MCP 服务器（generate_image、edit_image、inpaint_image 等）和本地 HTTP API。
推荐理由：作者实测给出了各档显卡的单张编辑耗时和显存门槛，本地部署 Qwen-Image 2.1 图像编辑可据此评估硬件是否够用。
Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2，将 KV cache 压缩 4 倍，可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified（zero-shot、无工具、n>1500）上得分 42.1%，较原版 39.5% 提升 6.58%，推理 token 减少最多 20%；GLA-g2 面向双 GPU 用户，TP=1 和 TP=2 下均实现 4 倍压缩。
推荐理由：原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据，可用作判断 latent attention 变体实际收益的参考。
/u/Present_Resource4022 在 GitHub 发布 Gyro-M 实验性部署方案，在 4070 Super 12GB 显存加 32GB 内存上跑满 Qwen 3.8 flash 的 256K 上下文，prefill 约 950–1800 tok/s，输出 30–38 tok/s。方案包含 Strata 补丁、调优配置、模型下载器、安装器和启动器，默认关闭 MTP 和视觉功能以提升速度；作者另附一段提示词，可交给 Codex 或 Claude Code 等编码 Agent 按用户自身硬件调优，速度受 CPU、SSD、内存和 GPU 带宽影响较大。
推荐理由：作者实测 Qwen 3.8 flash 在 12GB 显存加 32GB 内存跑满 256K 上下文，并给出调优补丁和供编码 Agent 适配自家硬件的提示词。
OpenBMB 的 MiniCPM-V 4.7 演示显示，35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行，可读现实标识、理解复杂文档并做视觉推理。关键在 LES（Lookahead Expert Scheduling），通过预测并预加载专家缓解 MoE 推理瓶颈；团队还发布了面向低资源设备的 1B 版本，以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub：https://github.com/OpenBMB/MiniCPM-V
推荐理由：帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路，适合关注多模态模型本地部署的读者。
/u/The_VibePreneur 发布 BitRun，一个无需编译即可运行 1-bit 三值 LLM 的独立运行器，在 Apple M4 Pro CPU 上跑出 98-127 tokens/s，Intel i5-12600K 上 40-45 tokens/s，全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug（batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃），并提交 PR #642 和 #644。
推荐理由：作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器，实测数据可直接对照自己的 CPU 场景判断是否可用。