arXiv · cs.AI· Faeze Moradi Kalarde·· 14 小时前AI 评分39
AdaRoll-GRPO：基于 Bayes-Adaptive MDP 的 GRPO 训练 rollout 分配方法
Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training
来源与原文
arXiv · cs.AI
作者：Faeze Moradi Kalarde
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37429v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 AdaRoll-GRPO，将 GRPO 训练中 rollout 预算的分配建模为序贯决策问题，用 Bayes-Adaptive MDP 学习难度感知的自适应分配策略。该策略离线计算，训练时不增加额外在线优化开销。在相同总 rollout 预算下，多项推理数据集和 LLM 架构上的实验显示其能持续提升 GRPO 训练效果。
来源：arXiv · cs.AI · arxiv.org