Caddie 方法通过任务结果强化学习训练 LLM Agent 的自然语言批评模型
Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie,通过强化学习训练批评模型,依据 Agent 接收反馈后最终是否成功来优化,不依赖步骤级标注,且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率;在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点,超过无批评模型的 Kimi K3,并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。
推荐理由:论文用任务最终成败而非步骤标注训练批评模型,读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。