MiRL:面向终端智能体错误行为的定向强化学习方法
论文提出 Misbehavior-driven RL(MiRL),针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练,从错误发生处启动 rollout,仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上,八类错误行为占错误步骤的 52.1%;训练后在未见前缀上错误重复率平均降低 43% 到 57%,Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上 21.3% 对 20.6% 持平,rollout 用量仅为其 35%。
推荐理由:论文给出面向终端智能体的错误定向 RL 方法,附错误占比与基准对比数据,方法思路可迁移到其他长程任务训练。