arXiv · cs.CL· Anhao Zhao·· 19 天前精选AI 评分55
DIAL-OPD：按学习价值筛选 token 提升在线策略蒸馏效果
DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
来源与原文
arXiv · cs.CL
作者：Anhao Zhao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11659v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由
论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。
来源：arXiv · cs.CL · arxiv.org