arXiv · cs.CL· Sohyun Son·· 22 小时前精选AI 评分52
RoAR：用 rollout 一致性改进 GRPO 的推理训练
Improving Reasoning with Rollout Agreement for Group-Based Policy Optimization
来源与原文
arXiv · cs.CL
作者：Sohyun Son
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34951v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 RoAR（Rollout-Agreement Reward），在 GRPO 对已验证正确 rollout 的奖励中加入推理层面的一致性信号，无需人工理由、额外采样或单独训练的过程评估器。126 对盲测配对分析显示低一致性正确轨迹的伪推理比例为 35%，高于高一致性的 22%。1.5B GRPO-RoAR 模型用 7K 训练样例在五个数学推理基准上零样本平均 pass@1 达 55.5%，比 GRPO 和 GRPO-CARE 分别高 6.0 和 5.5 个百分点，盲审中伪推理率为 18%，低于 GRPO 的 32%、GRPO-CARE 的 27% 和 DRA-GRPO 的 37%，代码已公开。
推荐理由
论文用盲测配对数据说明正确答案中低一致性轨迹更常出现伪推理，并据此提出无需额外采样的 RoAR 奖励方法。
来源：arXiv · cs.CL · arxiv.org