arXiv · cs.CL· Zeyu Leo Liu·· 13 小时前AI 评分30
强到弱 OPD 与 GRPO 的计算效率对比解析
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
来源与原文
arXiv · cs.CL
作者：Zeyu Leo Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.08453v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究系统对比 vanilla reverse-KL OPD 与 GRPO 的训练 FLOPs 效率：使用外部后训练教师时，OPD 在同等设置下每 FLOP 准确率普遍不如 GRPO，且常出现回复长度膨胀。但当教师为学生自身的 GRPO checkpoint 时，OPD 在数学任务上以少 50 倍的蒸馏 FLOPs 恢复该 checkpoint 的准确率，该高效性在学生更大、代码任务及第二个模型家族中同样成立。多教师 OPD 将各领域 GRPO 专家合并为单一学生，蒸馏阶段仅占专家训练 FLOPs 的 5.2%（2 领域）和 8.0%（4 领域），2 领域混合下总 FLOPs 比联合 GRPO 少 42.0%。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。