arXiv · cs.AI· Randy Ardywibowo·· 20 天前AI 评分50
JOLT：联合在线学习与教学的自我蒸馏训练方法
A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching
来源与原文
arXiv · cs.AI
作者：Randy Ardywibowo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10447v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Joint On-Policy Learning and Teaching（JOLT），让同一策略同时充当特权教师和学生，教师用结果奖励加 token 级 KL 正则化目标训练，学生通过在线策略蒸馏获得密集监督。分析给出了教师蒸馏更新为学生奖励梯度正倍数的充要条件，指出教师还需匹配学生当前能力。在数学推理、代码、工具使用和终端使用任务上，JOLT 提升了训练效率与性能，学生奖励带来进一步增益。
来源：arXiv · cs.AI · arxiv.org