Two Clocks 框架解析:RLVR 中更大 rollout batch 为何学习更慢、失效却准时
一篇 arXiv 论文提出“双时钟”框架,解释 RLVR 训练中平方根学习率规则下更大 rollout batch 每样本进展下降的原因:大 batch 更新次数更少但更长,曲率损耗更大,并推导出学习率相关的临界 batch。在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围的 GRPO 实验支持两个预测,ratio clipping 可延迟失效但进展差距仍存在,作者据此提出先小 batch 后大 batch 的多步训练调度。