Igor Slinko 提出编码智能体基准应匹配用户真实任务流,并给出 SWE-TaskFlow 转换方法
研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话,其中 33% 有至少三条用户消息,发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法,在保留已验证任务与测试的同时,通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow,并用 TFAS 分数筛选生成的轨迹;在 700 个 SWE-Bench Pro 任务上的试点显示,将任务拆成多步顺序执行大约使智能体成本翻倍,而 resolve rate 无稳定变化。
推荐理由:论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布,指出基准交互协议本身影响评测结果,方法可迁移。