方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
baiibayu 在 GitHub 发布开源工具 SRouter，一个本地运行的 AI 网关与智能路由器，把 Claude Code、Cursor、Windsurf、Cline 等编码工具统一接到一个 OpenAI 兼容端点（http://localhost:20268/v1），聚合约 60 家供应商和 1200+ 模型。核心机制包括订阅、付费与免密钥免费三层自动回退（上游 429/5xx 时冷却并切换下一模型）、可节省 20–40% token 的提示词压缩管线、每日两次经 Ed25519 签名同步的模型目录、AES-256-GCM 本地加密密钥库，以及原生支持 Anthropic Messages、Gemini、Ollama 和 Codex /v1/responses 协议。
推荐理由：原文给出了三层回退、token 压缩比例和本地加密等具体机制，可据此评估这个本地网关是否值得接入自己的编码工具链。
naoki-Kamishiro开源narrative-interact，一个完全本地运行的互动小说系统，LM Studio加载本地LLM担任GM，玩家输入类型与标题即可自动生成剧情并自由行动，支持骰子判定、存档和4档剧情约束度选择。推荐Gemma4 12B、上下文32,768 token以上，README详细列出了已抑制、残留和模型依赖三类模型缺陷及对应提示词对策。项目采用MIT许可。
推荐理由：开源了完整的GM提示词体系，还按轻缓解到模型依赖三档详细列出LLM跑TRPG的失效模式，方法可直接复用。
cloudwalksolutions 在 GitHub 发布 llm-server，提供本地 LLM 推理服务器的安装与远程管理，支持 AMD（Vulkan）与 NVIDIA（CUDA）GPU 的 llama.cpp 安装脚本，并可选通过 Cloudflare Tunnel 暴露公网。架构为每个模型一个 llama-server 实例、各自绑定 loopback 端口，由 nginx njs 路由按请求的 model 字段分发；make deploy 通过 systemd 模板部署，可对比 diff、只重启变更实例并在失败时自动回滚。
推荐理由：这是一个完整的 llama.cpp 多模型推理服务器管理方案，部署、验证、基准与 KV 量化实测工具齐全，方法可直接复用。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
Sahil Joshi 等在 arXiv 发布论文，提出 Stratified Sparse Attention（SSA），将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上，SSA 均优于基线；RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下，32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%，分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后，1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍，代码已开源。
推荐理由：论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据，方法可复用，代码已开源。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
Lafa 是一个扩到 8B 参数的连续流语言模型，采用块内双向流加因果前缀的块状结构，可通过适配预训练自回归模型来训练，并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型，其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐，优于多 token 预测和离散扩散方法，代码已开源。
推荐理由：论文给出把连续流语言模型扩到 8B 的具体训练与推理方法，并附吞吐对比数据，适合关注非自回归架构的读者。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
arXiv 论文提出扩散语言模型（DLM）中的事实访问状态概念，发现其与自回归模型不同，事实查找在第一层注意力与早期前馈层就完成。基于该状态，论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器，且各实体位置的状态可免训练地作为关系特定检索向量，在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。
推荐理由：论文指出扩散语言模型的事实访问状态在首层注意力就组装完成，并据此给出知识编辑与免训练检索两种用法，可作理解 DLM 与 AR 机制差异的对照。
arXiv 论文 2610.27583 提出 TeCoP，一种无需训练的解码器，通过错开的块级流水线与 draft-and-verify，将稳定但未提交的预测作为临时跨块上下文，解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP，TeCoP 将前向评估次数最多减少 87%，无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍，在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB，同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由：论文提出训练-free 的扩散语言模型解码方案，给了跨 12 个模型基准设置的吞吐与精度对比数据，方法可复现。
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF，在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0（430.41 MiB）重量化为 Q4_0（227.91 MiB），使组合能在 8GB 显卡上运行，实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致，仅 blk.64.* 不同；因 MTP 头只是草稿、输出由主模型验证，困惑度 8.4593 与无头版本 8.4557 在测量误差内，200 个贪心 token 零分歧。
推荐理由：作者给出逐字节校验和 RTX 3070 8GB 实测数据，说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
开发者发布开源项目 OvertChat，定位为自托管版 ChatGPT，提供打磨好的本地模型聊天界面。内置本地 TTS/STT 与 voice2voice 语音、捆绑 SearXNG 的网页搜索，支持 Codex、Claude Code、OpenCode、Pi、Hermes 等编码智能体；一条命令安装，覆盖 web、macOS/Windows/Linux、Android/iOS，并提供无法解密流量的免费中继 OvertChat Cloud。作者称已开发近 6 个月，项目获 123 stars，代码为 vibe coded，链接 https://github.com/yoloyash/overtchat 与 overtchat.com。
推荐理由：作者把自托管聊天前端定位成直接对标 Open WebUI 的成品而非工作区，并给出了安装命令和平台覆盖清单。
作者 /u/andy2na 宣布 Windows 万能搜索工具 VectorDash 改用 Rust 重写，新增可搜索剪贴板管理、基于 EmbeddingGemma 2 的本地反向图搜、网页搜索和 AI 聊天（含电脑与浏览器控制，Beta）。各功能均可选，未索引且未加载模型时内存占用低于 100MB，索引保留在本机，代码在 https://github.com/ampersandru/VectorDash。
推荐理由：作者本人发布工具更新，说明了各功能的可选开关和空闲内存占用，本地部署用户可以按需评估是否适用。
作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。
推荐理由：作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。
dealignai 在 Hugging Face 发布 Ornith-1.5-122B 的去对齐 NVFP4 量化版，基于 Qwen3.5 系混合 GatedDeltaNet + 全注意力 MoE 架构，122B 总参数 / 10B 激活，磁盘占用约 71 GB，MIT 许可。HarmBench-320 实测 96.6% 服从率，MMLU-5k 相比 NVFP4 base 下降 1.69pp，为三个去对齐量化版本中回归最小者；保留原生 MTP 头与视觉能力，支持 vLLM 推测解码，针对 NVIDIA Blackwell SM100（B200/GB200）优化，SM120 消费级卡上吞吐明显更慢。
推荐理由：原文给出 HarmBench 拒绝率与 MMLU 前后对比，读者可据此判断这个去对齐版本去掉了多少、损失了多少。
Meta 的开源权重模型 Muse Spark Open 在 Fireworks 上线，提供 Day-0 serverless 调用。该模型为 816B 参数 MoE 架构，每 token 激活 42B 参数，上下文窗口 1M token，主打长上下文编码与 Agent 工作。
推荐理由：给出了参数规模、激活参数和上下文窗口等关键配置，读者可据此判断该模型是否适合长上下文和 Agent 场景。
AtomicChat 在 Hugging Face 发布 Ornith 1.5 122B 的去拒绝 GGUF 量化版，通过在 48 个 block 中移除残差流上的拒绝方向实现。英文拒绝率从 93.8% 降至 1.2%，俄语从 43% 降至 0%，MMLU 从 83.65% 到 83.90% 基本不变；提供 AD-IQ4_XS_S（71.2 GB）等多种 Atomic Dynamic 量化，方法遵循 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：原文给出拒绝率前后对比、MMLU 复测和 KL 数据，读者可据此判断这个去对齐版本的实际代价。
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。