arXiv · cs.CL· Guhan Chen·· 20 小时前AI 评分30
CoRD：耦合 rollout 填补 on-policy 蒸馏的盲区
CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation
来源与原文
arXiv · cs.CL
作者：Guhan Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07959v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
CoRD（coupled-rollout distillation）通过投机解码的最大耦合对学生与教师分布做几何插值采样，保留 on-policy 损失的同时把训练状态分布推向教师。在 Qwen3 与 Qwen3.5 两个模型家族六个基座学生（0.6B 到 4B）上，五个公开数学基准中 pass@1 平均提升 0.9 到 2.0 分、pass@8 提升 1.2 到 3.4 分。4B 学生在冻结的教师可达状态上 16 步即达到 on-policy 蒸馏 80 步仍未达到的差距闭合。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。