新论文提出熵形状指标，训练前预测在线蒸馏最佳教师

Shiping Yang 等人在 arXiv 发布论文，针对大模型后训练中的在线策略蒸馏（OPD），提出用下一个 token 熵序列刻画"熵形状"，并以熵形状相关性（ESC）衡量学生与教师在"在哪里分支"上的一致性。实验显示"在哪里分支"独立于候选 token 的选择方式，因果地驱动 OPD 收益；在训练前测算 ESC 即可选出对学生的最佳教师，效果优于现有的预测方法。代码已开源。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。