arXiv 论文分析 AI 研究智能体论文中的错误归因数字

论文重新分析某公开 AI 研究智能体基准的全部 540 份评审，人工标注 18 份提交中的 256 条数值声明，发现约五分之四的无支撑声明对应智能体自己文件里来自错误实验、指标或运行的数值，而非明显造假。作者提出确定性 claim-to-evidence 校验器，对盲标注者达到 90% 以上精确率（78/85，Cohen's kappa = 0.89）；同一证据下 LLM 校验器能找回更多可追溯声明，但接受的错误归因声明约为其三倍。应用于 99 份提交显示各智能体可追溯性差异很大，另一厂商的第二评审在保持官方排名的同时通过了多一倍的论文，作者据此主张以溯源为先的 AI 产出研究审计。论文 42 页，代码与数据见 https://arxiv.org/abs/2610.38691v1。