方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,703 条精选近 30 天 1,690 条共收录 6,531 条
论文提出 SEIS（Self-Evolving Inference Systems），用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X，并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang；正确性通过数值差异及数学、长上下文检索任务的下游准确率验证，会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1
推荐理由：论文用智能体自我进化端到端优化整个推理引擎，并在实测中与 vLLM 等主流引擎做了吞吐对比，方法可迁移到系统优化场景。
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。
arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。
推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。
arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。
推荐理由：论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。
论文提出 KV$^2$，一种基于选择性重构的 query 无关 KV cache 压缩方法，先用轻量代理评分器筛选上下文中的有效 token，再仅对该子集重新计算最终淘汰分数。
推荐理由：论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据，可复用的 KV cache 压缩不必重处理全上下文。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏（OPD）为何有时提升性能、有时坍缩为过长且重复的生成：教师隐式奖励学生行为，即使教师自身很少表现出这些行为。
推荐理由：论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩，并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
论文提出 HARPO 强化学习框架，用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力，仅对无幻觉输出激活写作奖励，并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由：论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据，可评估该框架的实际收益。
ServiceNow CoreAI 发布 AutoSynthData，用目标模型的失败和更强教师模型的成功来定位能力缺口，生成经环境验证的合成训练任务用于 SFT。在 EnterpriseOps Gym Hybrid 域用 Gemma-4-26B-A4B-it 配 Qwen3.8-27B 教师生成 2000 样本，Pass@1 相对提升 35%；在 ITSM 域配 DeepSeek-V4.1-Flash 教师生成 1994 样本，Pass@1 从 18.77% 升至 27.18%。
推荐理由：原文给出从模型失败生成可验证训练任务的完整流程和两组实验数据，方法细节可以直接迁移到企业智能体的数据构造。
SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝，不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验，1223 个张量中 1079 个与上游逐字节一致，decode 速度仅降 0.1%，四个量化档位体积仅比上游多 0.25 至 0.44 GB，行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏，需自行部署审核与访问控制。
推荐理由：作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价，方法可复用到其他 GGUF 模型。
Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle，整个模型为单个 16.9 MB 文件，无需 GPU 和外部依赖，与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写（单次最长 30 秒）、词级时间戳和语音嵌入，静音返回空文本而非编造句子。WER 基于 86,174 条语音实测，并用与 Whisper、Moonshine 已发布数据对比；精度为 Whistle 2 至 4 bit，Whisper fp32，Moonshine int8。
推荐理由：原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径，读者可以据此评估端侧语音识别的实际表现。
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 端点在本地一次请求回答多个命名问题，适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由：官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法，读者可以直接照着在本地跑起来。
Hcompany 发布 Holo4 系列智能体模型，含 27B dense 和 35B-A3B MoE 两种规格，并同时发布基于 NVIDIA Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由：官方公布了 OSWorld 2.0 与 AutomationBench 的分数、成本对比和完整轨迹数据，读者可以自行回放验证各步骤表现。
LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x，端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x；草稿模型约 280M 参数，仅增加 8.9% 参数量。
推荐理由：原文给出4层注意力 drafter 的结构与分任务实测加速数据，并解释预填充阶段为何限制端到端收益。
Google DeepMind 在 Hugging Face 开源 EmbeddingGemma 2，一个 740M 参数的多模态嵌入模型，将文本、代码、图像、视频和音频统一映射到 768 维向量空间，支持 100+ 语言和 8K token 上下文。模型采用 MRL 支持截断到 128d 至 512d，可在 256d 内接近无损地降低向量存储成本，并允许按需加载视觉（170M）与音频（300M）编码器；文本编码基准 MTEB code 得分 78.68，较一代的 68.76 明显提升。
推荐理由：官方模型卡给出各维度基准分数、MRL 截断表和部署配置，对想在端侧做多模态检索的开发者是可落地的选型参考。
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置，可选用 Ollama 内本地或云端模型，关闭后恢复原设置；默认关闭遥测并执行零数据保留政策，也可在设置中配置本地模型。
推荐理由：官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法，便于按需切换云端与本地模型。
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列，实测拒绝率 0/465，保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位，附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG，比内嵌 MTP 最高快 35.2%/21.1%，实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁，vision 需单独 BF16 projector，原生上下文 262,144 token，可扩展至 1,000,000。
推荐理由：原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据，读者可据此判断去对齐程度和各档位实际推理速度。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构，面向长时运行的 Agent 任务，支持最高 1M token 上下文，通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐，任务完成时间快 30%。
推荐理由：原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据，读者可据此评估其本地 Agent 部署价值。
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型，专为本地运行的 Agent 工作负载构建，支持 128K+ 上下文，采用 Apache 2.0 许可证。
推荐理由：官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法，可直接照做。
ComfyUI 发布 v0.27.0，主要变更是新增对 int8 模型的支持，包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点，并为 Grok Image 节点添加 1080p 分辨率，加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。
推荐理由：ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动，读者可快速判断升级是否影响自己的工作流。