跳到正文
arXiv · cs.AI· Ao Lu·· 21 天前精选AI 评分55

SessionFarmer 从 vibe coding 会话自动挖掘 SWE 基准,发布含 242 任务的 CropChat

Harvesting SWE Benchmarks from Wild Vibe Coding Sessions

来源与原文

arXiv · cs.AI

作者:Ao Lu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.02440v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 SessionFarmer 框架,把对话式开发(vibe coding)会话与提交记录自动转化为可复现、可执行的软件工程任务。其闭环测试精炼用 requirement-breaking mutants 和盲解算器降低误判,测试精炼使各解算器的误拒率下降、balanced accuracy 提升 7-9 个百分点;构建的开源基准 CropChat 覆盖 61 个公开仓库、14 种语言的 242 个任务,12 种模型-harness 配置中最佳达 39.3% Pass@1,同一模型因 harness 不同 Pass@1 相差最高 8.4 个百分点;企业日志构建的 CropEnterprise 中原开发者认可绝大多数重建结果。

推荐理由

论文给出从真实 vibe coding 会话自动构建 SWE 基准的完整流程,并附闭源审计与 12 种模型配置的实测数据。

来源:arXiv · cs.AI · arxiv.org