arXiv · cs.AI· Dishu Yang·· 22 天前精选AI 评分52
arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距
Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation
来源与原文
arXiv · cs.AI
作者：Dishu Yang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05830v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出测量优先的审计框架，将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道，在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed，但 4 个配置确认了污染事件。
推荐理由
论文提出按证据类型区分污染声明的审计框架，并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
来源：arXiv · cs.AI · arxiv.org