arXiv · cs.AI· Yuyao Ge·· 13 天前AI 评分48
Doc2Harness：评测编码智能体长程 harness 工程能力的基准
Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
来源与原文
arXiv · cs.AI
作者：Yuyao Ge
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20344v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
中科院研究团队提出 Doc2Harness，首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建，GPT-6 Astra 以 53.05% 通过率居首，最弱模型为 27.44%；即使最强模型也失败近半数用例，失败集中在跨模块功能划分上。
来源：arXiv · cs.AI · arxiv.org