arXiv · cs.AI· Naman Vats·· 9 天前精选AI 评分61
arXiv 论文发现决策模型控制器使 Claude Sonnet 5.5 终端 Agent 成本升 19% 而成功率不变
Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success
来源与原文
arXiv · cs.AI
作者：Naman Vats
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24649v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2610.24649）在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中，Jev 使单次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02-1.36），通过率不变（73.0% vs 73.0%）；比小模型 Claude Haiku 5.5 控制器便宜（比值 0.81），但比安慰剂贵 22%。离线评估中 Jev 排序优于规则（AUROC 0.78 vs 0.62）但校准差：判为未完成的运行中 87% 实际通过，导致要求验证本已正确的工作；所有控制器都从未选择放弃运行。
推荐理由
论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响，数据具体，结论对脚手架设计有参考价值。
来源：arXiv · cs.AI · arxiv.org