OPD与GRPO训练计算效率对比
热点事件持续更新
OPD与GRPO训练计算效率对比
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Zeyu Leo Liu 发表论文，系统比较 vanilla reverse-KL OPD 与 GRPO 的训练 FLOPs 效率。结论取决于教师来源：使用外部后训练教师时，OPD 在同等设置下每 FLOP 准确率普遍不如 GRPO，且常出现回复长度膨胀。 当教师为学生自身的 GRPO checkpoint 时，OPD 在数学任务上以少 50 倍的蒸馏 FLOPs 恢复该 checkpoint 的准确率；该高效性在学生更大、代码任务及第二个模型家族中同样成立。但单领域下 GRPO checkpoint 已是目标模型，蒸馏它反而增加总计算量。 多教师 OPD 将各领域 GRPO 专家合并为单一学生，蒸馏阶段占专家训练 FLOPs 的 5.2%（2 领域）和 8.0%（4 领域）；2 领域混合下总 FLOPs 比联合 GRPO 少 42.0%。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 02:47
强到弱 OPD 与 GRPO 的计算效率对比解析报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv · cs.CL强到弱 OPD 与 GRPO 的计算效率对比解析
研究系统对比 vanilla reverse-KL OPD 与 GRPO 的训练 FLOPs 效率：使用外部后训练教师时，OPD 在同等设置下每 FLOP 准确率普遍不如 GRPO，且常出现回复长度膨胀。但当教师为学生自身的 GRPO checkpoint 时，OPD 在数学任务上以少 50 倍的蒸馏 FLOPs 恢复该 checkpoint 的准确率，该高效性在学生更大、代码任务及第二个模型家族中同样成立。多教师 OPD 将各领域 GRPO 专家合并为单一学生，蒸馏阶段仅占专家训练 FLOPs 的 5.2%（2 领域）和 8.0%（4 领域），2 领域混合下总 FLOPs 比联合 GRPO 少 42.0%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。