arXiv · cs.AI· Bingran You·· 14 小时前AI 评分49
FrontierPhysics:面向端到端物理研究的智能体评测基准
FrontierPhysics: Evaluating Agents for End-to-End Physics Research
来源与原文
arXiv · cs.AI
作者:Bingran You
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.06910v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
FrontierPhysics 是一个由 42 位物理学家基于自身研究构建的端到端评测基准,共 56 个任务,覆盖理论、计算与实验物理九个领域。智能体需完成文献调研、制定研究计划、开展实验并输出结构化结果与科学手稿,评测结合确定性验证器与专家评分细则。在 22 个模型的 26 种配置中,没有任何配置在 168 次 rollout 中通过超过 46 次,人工分析显示前沿智能体的主要短板是推理不够严谨和专家直觉不足,而非物理知识欠缺。
来源:arXiv · cs.AI · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。