arXiv · cs.CL· Hexuan Deng·· 19 天前AI 评分48
SWE-Journey：通过长程多轮交互更真实地评测编程助手
SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
来源与原文
arXiv · cs.CL
作者：Hexuan Deng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11559v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出编程助手评测基准 SWE-Journey，用 weak-to-strong 合成流水线自动构建长程编码任务，并基于真实交互数据挖掘四种用户画像、构建用户模拟智能体还原多轮交互。实验显示，模型在软件架构师场景下平均通过超过 75% 的功能测试，非程序员场景下则不足 25%。作者将差距归因于 asking right、finding right 和 fixing right 三项关键能力。
来源：arXiv · cs.CL · arxiv.org