Rollout-Time Intervention(RTI):突破策略边界解锁智能体强化学习
研究者提出 Rollout-Time Intervention(RTI),在 rollout 阶段利用奖励侧证据(评测 rubric)将错误轨迹转化为成功轨迹,缓解智能体 RL 的 on-policy 推理瓶颈。过滤分布偏移过大的轨迹后,这些 off-policy 轨迹仍能有效引导策略优化。在五个 benchmark 上 RTI 持续超越 RL 基线,使后训练策略接近更强的当代 LLM 并突破原有能力边界,代码已开源。