arXiv · cs.AI· Ruoyu Wu·· 20 小时前精选AI 评分52
PAPERBENCHX 基准:AI 能否跨学科复现科学论文
PAPERBENCHX: Can AI Reproduce Science Across Disciplines?
来源与原文
arXiv · cs.AI
作者:Ruoyu Wu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39744v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 PAPERBENCHX 基准,包含 93 项专家构建的论文复现任务,覆盖电磁学、光子学、化学、材料科学、生物学和机器人学等 12 个研究方向,要求智能体在使用专业科学软件的领域环境中重建、运行并诊断关键实验。评测采用从头重放、只对再生证据按专家标准打分的方式,10 个前沿智能体配置中最佳者仅在 14% 任务上达到 90% 阈值的完整复现,平均评分在 27.53% 至 59.08% 之间。论文链接:https://arxiv.org/abs/2610.39744v1。
推荐理由
跨学科复现基准 PAPERBENCHX 用重放式评分区分表面一致与真实验据,给出了前沿智能体完整复现率仅 14% 的量化结果。
来源:arXiv · cs.AI · arxiv.org