研究分析在线策略蒸馏的学习动力学

1. 21:38
   arXiv · cs.CL

   解析 on-policy distillation 的学习动力学

   研究对 on-policy distillation（OPD）的学习动力学做了机制分析，将其反馈循环拆分为蒸馏信号转为参数更新、以及更新经广播改变各前缀预测并重塑 rollout 分布两个阶段。该框架解释了师生分歧显著时学生响应有限的现象，以及局部师生一致性提升却增加失败续写概率、导致后续 rollout 暴露于不可靠监督的退化问题。离线蒸馏可在不显著提升即时留出准确率的情况下为 OPD 做准备，单独使用 OPD 可能降低生成质量，但经充分离线准备后可获得显著准确率提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。