方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,767 条精选近 30 天 1,565 条共收录 6,847 条
ausboss 在 Hugging Face 发布 Qwen-Image-2.1-Outfit-Swap-Consistency-LoRA，让 Qwen Image 2.1 在把图片 2 的服装穿到图片 1 人物身上时保持画面原位。在 16 个未训练过的换装样本上，结果偏离从无 LoRA 的 3.6 px 降到 0.1 px，面部明显变化像素从 14.1% 降到 1.7%，背景从 10.8% 降到 0.9%；提供 step 1000/1250/1500 三个权重文件，主推 step 1000，rank 32，用 ostris/ai-toolkit 以 66 对样本训练 1500 步。不改变服装绘制质量，且保持原有姿势，需要换姿势的服装不适用。
推荐理由：作者用 16 个未训练过的换装样本给出位移、面部和背景像素级对比，读者可据此判断这个 LoRA 值不值得装进自己的 ComfyUI 工作流。
BoldingBuilds 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-ThinkFix-GGUF，在移除拒绝行为之外增加一处权重行编辑，使模型完成思考后更快给出答案。
推荐理由：原文给出多种敏感提示词与代理任务的实测对照数据，可据此评估这个去对齐加推理修复版本的实际取舍。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 量化包，收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GGUF（逐字节复制并校验 SHA256），另附一个 480 KB 的拒绝方向向量文件，可在 Strata 引擎中运行时投影去除拒绝行为，权重保持原样。
推荐理由：原文保留原始量化权重并给出拒绝率、KL 散度和解码速度的实测数据，读者可据此评估运行时去拒绝向量对输出的实际影响。
TechPrototyper 发布了基于 rdtand 的 GridBook 13GB 量化版 Qwen3.8-27B 的 abliterated 变体，通过将 BF16 消融供体权重移植进已有量化 checkpoint 并按原量化网格重编码，不重新量化，仅改动 1363 个张量中的 113 个。
推荐理由：原文给出在量化格式内做消融的完整方法与拒绝率、工具调用前后对比，读者可据此判断这种不重新量化的去对齐做法是否可靠。
论文提出 SEIS（Self-Evolving Inference Systems），用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X，并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang；正确性通过数值差异及数学、长上下文检索任务的下游准确率验证，会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1
推荐理由：论文用智能体自我进化端到端优化整个推理引擎，并在实测中与 vLLM 等主流引擎做了吞吐对比，方法可迁移到系统优化场景。
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。
arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。
推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。
arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。
推荐理由：论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。
论文提出 KV$^2$，一种基于选择性重构的 query 无关 KV cache 压缩方法，先用轻量代理评分器筛选上下文中的有效 token，再仅对该子集重新计算最终淘汰分数。
推荐理由：论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据，可复用的 KV cache 压缩不必重处理全上下文。
arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏（OPD）为何有时提升性能、有时坍缩为过长且重复的生成：教师隐式奖励学生行为，即使教师自身很少表现出这些行为。
推荐理由：论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩，并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。
论文提出 HARPO 强化学习框架，用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力，仅对无幻觉输出激活写作奖励，并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由：论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据，可评估该框架的实际收益。
ServiceNow CoreAI 发布 AutoSynthData，用目标模型的失败和更强教师模型的成功来定位能力缺口，生成经环境验证的合成训练任务用于 SFT。在 EnterpriseOps Gym Hybrid 域用 Gemma-4-26B-A4B-it 配 Qwen3.8-27B 教师生成 2000 样本，Pass@1 相对提升 35%；在 ITSM 域配 DeepSeek-V4.1-Flash 教师生成 1994 样本，Pass@1 从 18.77% 升至 27.18%。
推荐理由：原文给出从模型失败生成可验证训练任务的完整流程和两组实验数据，方法细节可以直接迁移到企业智能体的数据构造。
SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝，不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验，1223 个张量中 1079 个与上游逐字节一致，decode 速度仅降 0.1%，四个量化档位体积仅比上游多 0.25 至 0.44 GB，行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏，需自行部署审核与访问控制。
推荐理由：作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价，方法可复用到其他 GGUF 模型。
Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle，整个模型为单个 16.9 MB 文件，无需 GPU 和外部依赖，与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写（单次最长 30 秒）、词级时间戳和语音嵌入，静音返回空文本而非编造句子。WER 基于 86,174 条语音实测，并用与 Whisper、Moonshine 已发布数据对比；精度为 Whistle 2 至 4 bit，Whisper fp32，Moonshine int8。
推荐理由：原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径，读者可以据此评估端侧语音识别的实际表现。
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 端点在本地一次请求回答多个命名问题，适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由：官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法，读者可以直接照着在本地跑起来。
Hcompany 发布 Holo4 系列智能体模型，含 27B dense 和 35B-A3B MoE 两种规格，并同时发布基于 NVIDIA Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由：官方公布了 OSWorld 2.0 与 AutomationBench 的分数、成本对比和完整轨迹数据，读者可以自行回放验证各步骤表现。
LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x，端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x；草稿模型约 280M 参数，仅增加 8.9% 参数量。
推荐理由：原文给出4层注意力 drafter 的结构与分任务实测加速数据，并解释预填充阶段为何限制端到端收益。
Google DeepMind 在 Hugging Face 开源 EmbeddingGemma 2，一个 740M 参数的多模态嵌入模型，将文本、代码、图像、视频和音频统一映射到 768 维向量空间，支持 100+ 语言和 8K token 上下文。模型采用 MRL 支持截断到 128d 至 512d，可在 256d 内接近无损地降低向量存储成本，并允许按需加载视觉（170M）与音频（300M）编码器；文本编码基准 MTEB code 得分 78.68，较一代的 68.76 明显提升。
推荐理由：官方模型卡给出各维度基准分数、MRL 截断表和部署配置，对想在端侧做多模态检索的开发者是可落地的选型参考。
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置，可选用 Ollama 内本地或云端模型，关闭后恢复原设置；默认关闭遥测并执行零数据保留政策，也可在设置中配置本地模型。
推荐理由：官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法，便于按需切换云端与本地模型。