arXiv · cs.CL· Yijun Liao·· 2 天前精选AI 评分53
arXiv 论文揭示 LLM Agent 修复方案评估器与执行器错配问题
Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents
来源与原文
arXiv · cs.CL
作者：Yijun Liao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38610v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（2610.38610）研究 LLM Agent 失败后的修复方法，发现贪心重放、更强模型、环境 oracle 等评估器选出的修复并不利于实际执行的 Agent。在 ALFWorld 中贪心重放相对部署 Agent 自身 rollout 的选择损失 0.08-0.13 期望净成功率增益，WebShop 损失 0.06-0.13；用 Qwen2.5-14B rollout 为 Qwen2.5-7B 选修复会损失 0.25（ALFWorld）和 0.07（WebShop），20 次 14B rollout 不如 2 次 7B 自身 rollout；不同家族相似规模模型间损失双向存在（0.07-0.17）。论文结论是修复验证应使用真正执行它的 Agent。
推荐理由
论文用独立 rollout 实测了各类评估器选出的修复方案对真实执行 Agent 的价值损失，给出了跨模型规模的量化对比。
来源：arXiv · cs.CL · arxiv.org