arXiv · cs.CL· Bingxi Hou·· 12 天前AI 评分41
Waypoint-OPD：通过门控在线策略蒸馏迁移 RL 引起的策略偏移
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
来源与原文
arXiv · cs.CL
作者：Bingxi Hou
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21601v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Waypoint-OPD 是一种门控在线策略蒸馏方法，利用同一 RL 训练中的中间 teacher checkpoint，比较早期与后期策略偏移的方向一致性，并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分，以 RL 训练的 Qwen3-4B 为 teacher，在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上，全部六个领域-学生设置中取得最高领域平均分；消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
来源：arXiv · cs.CL · arxiv.org