arXiv · cs.CL· Shu Zhao·· 6 天前精选AI 评分54
R2S：修复教师打分器以改进智能体在线策略蒸馏
Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation
来源与原文
arXiv · cs.CL
作者：Shu Zhao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28586v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由
论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
来源：arXiv · cs.CL · arxiv.org