arXiv · cs.CL· Runyang You·· 7 天前AI 评分36
On-Policy Transition Distillation：用层间预测迁移对齐提升在线蒸馏效果
On-Policy Transition Distillation
来源与原文
arXiv · cs.CL
作者：Runyang You
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28048v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出 On-Policy Transition Distillation（OPTD），在传统在线蒸馏只匹配最终层分布的基础上，进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示，正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩，三域设定下可恢复约 90% 的师生能力差距，而 OPD 约为 75%。
来源：arXiv · cs.CL · arxiv.org