arXiv · cs.AI· Jiahao Wang·· 18 天前AI 评分40
AgentSWE:编程智能体能构建出你真正想要的智能体吗?
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
来源与原文
arXiv · cs.AI
作者:Jiahao Wang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13361v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 AgentSWE 基准,测试编程智能体能否按自然语言需求忠实构建、编辑和优化智能体,覆盖智能体开发全生命周期的 25 个任务。评估发现没有任何被测智能体接近完全满足需求,“演示的与交付的存在差距”是常态而非个例。失败轨迹分析归纳出对可见样例过拟合、代码看似完整但运行时空洞、以及无依据的完成声明等典型失败模式。
来源:arXiv · cs.AI · arxiv.org