arXiv · cs.CL· Boyuan Zheng·· 7 天前精选AI 评分56
OnQ 论文提出低比特量化下恢复推理能力的新管线
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
来源与原文
arXiv · cs.CL
作者：Boyuan Zheng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29378v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由
论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
来源：arXiv · cs.CL · arxiv.org