arXiv · cs.CL· Shao Zhang·· 3 天前精选AI 评分59
arXiv 论文提出模型与执行框架联合评测框架，解析 Agent 失败该归咎谁
When Agents Fail: Model or Harness--Who's to Blame?
来源与原文
arXiv · cs.CL
作者：Shao Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32483v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv:2610.32483 提出评测 LLM Agent 执行框架（harness）与底层模型交互的框架，包含有效完成率（VCR）、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型，加上两组原生固定组合，共 111 个评测设置、52,168 条轨迹；结果显示框架排名随模型和基准变化，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。
推荐理由
论文把 Agent 拆成模型与执行框架两部分联合评测，给出五项指标和 52,168 条轨迹的实测，可帮助读者理解框架排名为何随模型和基准而变。
来源：arXiv · cs.CL · arxiv.org