arXiv · cs.AI· Xiaobo Chen·· 16 小时前AI 评分38
LLM 代码修复在 API 迁移后"通过却出错":arXiv 预注册研究揭示静默失败
Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations
来源与原文
arXiv · cs.AI
作者:Xiaobo Chen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.08269v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项预注册研究覆盖 CPython、SQLite 等 60 项已记录变更的 73 个任务,发现 LLM 修复的代码在 API 迁移后可正常运行却返回错误结果,基于典型输入的断言门禁放行了 0.410 的错误修复。一条依据发布说明编写的边界输入将错误放行率降至 0.065,在 15 个未见集群上为 0.061;盲写的 GPT-5.6-luna 三条输入达到 0.070。边界输入在三个开源权重模型家族、三个菜单上均降低了错误发布率(如从 0.233 降至 0.057),且未降低正确完成率。
来源:arXiv · cs.AI · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。