arXiv · cs.CL· Shiping Yang·· 1 天前AI 评分46
在线策略蒸馏（OPD）学到了什么：熵形状揭示"在哪里分支"并预测最佳教师
Distilling the Shape of Uncertainty: What On-Policy Distillation Learns and How to Predict It
来源与原文
arXiv · cs.CL
作者：Shiping Yang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39020v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文研究大语言模型后训练中的在线策略蒸馏（OPD），提出用熵形状（next-token 熵序列）和 ESC 指标刻画学生与教师在"在哪里分支"上的一致性。实验表明"在哪里分支"独立于"如何选择候选 token"地因果驱动 OPD 收益；训练前测算 ESC 可选出最佳教师，优于现有预测方法。代码已开源。
来源：arXiv · cs.CL · arxiv.org