D²-OPD提出解耦蒸馏方向与距离

1. 07:45
   arXiv · cs.CL

   D²-OPD：在外推式在线策略蒸馏中分离方向与距离

   D²-OPD 将外推式在线策略蒸馏（OPD）中的外推方向与距离解耦：用逐前缀硬 KL 约束限制目标偏离教师模型的距离，并以教师训练后偏移与初始学生-教师差距的自适应组合确定方向，再用前向 KL 优化学生。在数学推理基准的三种设置下均取得最高分，最多领先最强基线 9.45 分，消融实验验证了各组件的贡献。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。