arXiv · cs.CL· Sergei Polezhaev·· 20 天前精选AI 评分54
Caddie 方法通过任务结果强化学习训练 LLM Agent 的自然语言批评模型
Training Advisors for LLM Agents from Task Outcomes
来源与原文
arXiv · cs.CL
作者：Sergei Polezhaev
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09858v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie，通过强化学习训练批评模型，依据 Agent 接收反馈后最终是否成功来优化，不依赖步骤级标注，且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率；在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点，超过无批评模型的 Kimi K3，并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。
推荐理由
论文用任务最终成败而非步骤标注训练批评模型，读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。
来源：arXiv · cs.CL · arxiv.org