arXiv · cs.AI· Yibo Wen·· 13 天前精选AI 评分55
Autonomous Science Bench 发布:评测 AI 智能体的自主科学发现能力
Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
来源与原文
arXiv · cs.AI
作者:Yibo Wen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18449v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Autonomous Science Bench,包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务,智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛,八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率,最难任务 24 次仅 3 次成功;部分智能体排名准确但发现的设计少,另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。
推荐理由
基准用真实实验室测量而非仿真,双门槛设计能区分发现与学习两类失败,八种配置的实测结果已给出。
来源:arXiv · cs.AI · arxiv.org