arXiv · cs.CL· Victor Shea-Jay Huang·· 4 天前精选AI 评分57
SWE-Shift 基准发布：评估编码智能体在执行中环境变化下的表现
SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
来源与原文
arXiv · cs.CL
作者：Victor Shea-Jay Huang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32196v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 SWE-Shift，一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准，包含 120 个场景、12 类变更族，并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率 20.34%；工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由
这个基准专门测任务执行中途环境被改动时的表现，17 个系统的成绩都下降，暴露了保留已有工作与刷新证据的短板。
来源：arXiv · cs.CL · arxiv.org