arXiv · cs.AI· Mahdi Sabbaghi·· 4 天前AI 评分38
何时跟随教师：基于优势的在策略蒸馏 AOPD
When to Follow the Teacher: Advantage-Based On-Policy Distillation
来源与原文
arXiv · cs.AI
作者：Mahdi Sabbaghi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31563v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
AOPD（Advantage-Based On-Policy Distillation）提出在 Online Policy Distillation 中区分教师偏好与对学生的实际帮助，依据教师动作在学生策略下的反事实优势进行加权，改善学生预期结果的动作被强化，否则降权。该方法无需额外 rollout 或奖励评估，仅用学生轨迹的终端奖励即可无偏估计目标。在数学、代码和 Medqa 任务上，AOPD 在外接教师与自蒸馏设置下均超过蒸馏与 RL 基线。
来源：arXiv · cs.AI · arxiv.org