Waypoint-OPD:通过门控在线策略蒸馏迁移 RL 引起的策略偏移
Waypoint-OPD 是一种门控在线策略蒸馏方法,利用同一 RL 训练中的中间 teacher checkpoint,比较早期与后期策略偏移的方向一致性,并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分,以 RL 训练的 Qwen3-4B 为 teacher,在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上,全部六个领域-学生设置中取得最高领域平均分;消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。