arXiv · cs.CL· Igor Slinko·· 20 天前精选AI 评分54
Igor Slinko 提出编码智能体基准应匹配用户真实任务流，并给出 SWE-TaskFlow 转换方法
Coding-Agent Benchmarks Should Match Their Users' Task Flows
来源与原文
arXiv · cs.CL
作者：Igor Slinko
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09633v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话，其中 33% 有至少三条用户消息，发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法，在保留已验证任务与测试的同时，通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow，并用 TFAS 分数筛选生成的轨迹；在 700 个 SWE-Bench Pro 任务上的试点显示，将任务拆成多步顺序执行大约使智能体成本翻倍，而 resolve rate 无稳定变化。
推荐理由
论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布，指出基准交互协议本身影响评测结果，方法可迁移。
来源：arXiv · cs.CL · arxiv.org