arXiv · cs.AI· Yuante Li·· 13 天前AI 评分43
Two Clocks 框架解析：RLVR 中更大 rollout batch 为何学习更慢、失效却准时
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
来源与原文
arXiv · cs.AI
作者：Yuante Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18853v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文提出“双时钟”框架，解释 RLVR 训练中平方根学习率规则下更大 rollout batch 每样本进展下降的原因：大 batch 更新次数更少但更长，曲率损耗更大，并推导出学习率相关的临界 batch。在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围的 GRPO 实验支持两个预测，ratio clipping 可延迟失效但进展差距仍存在，作者据此提出先小 batch 后大 batch 的多步训练调度。
来源：arXiv · cs.AI · arxiv.org