论文提出校验器检查AI研究智能体论文的数值误归因
先了解这件事
arXiv 2610.38691 论文（作者 Mosab Alfaqeeh）提出一个确定性 claim-to-evidence 校验器，用于检查 AI 研究智能体所写论文中的数值误归因。论文重新分析了某公开 AI 研究智能体基准（9 个智能体、15 个开放研究问题）的全部 540 份评审，人工标注 18 份提交中的 256 条数值声明，发现约五分之四的无支撑声明对应智能体自己文件里来自错误实验、指标或运行的数值，而非明显造假。该检查器对盲标注者达到 90% 以上精确率（78/85，Cohen's kappa = 0.89）。 论文称，在相同证据下，LLM 校验器能找回更多可追溯声明，但接受的错误归因声明约为确定性校验器的三倍，两者宜结合使用。应用于 99 份提交显示各智能体的可追溯性差异很大；另一厂商的第二评审在保持官方排名的同时通过了多一倍的论文。作者据此主张以溯源为先的 AI 产出研究审计。论文 42 页，代码与数据随论文公开。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.CL精选arXiv 论文分析 AI 研究智能体论文中的错误归因数字
论文重新分析某公开 AI 研究智能体基准的全部 540 份评审，人工标注 18 份提交中的 256 条数值声明，发现约五分之四的无支撑声明对应智能体自己文件里来自错误实验、指标或运行的数值，而非明显造假。作者提出确定性 claim-to-evidence 校验器，对盲标注者达到 90% 以上精确率（78/85，Cohen's kappa = 0.89）；同一证据下 LLM 校验器能找回更多可追溯声明，但接受的错误归因声明约为其三倍。应用于 99 份提交显示各智能体可追溯性差异很大，另一厂商的第二评审在保持官方排名的同时通过了多一倍的论文，作者据此主张以溯源为先的 AI 产出研究审计。论文 42 页，代码与数据见 https://arxiv.org/abs/2610.38691v1。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。