arXiv · cs.AI· Matt Turk·· 8 天前AI 评分36
ProteinGeoBench：前沿结构生物学智能体擅长查询但几何计算薄弱
ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry
来源与原文
arXiv · cs.AI
作者：Matt Turk
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26829v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ProteinGeoBench 是一套包含 131 项蛋白质结构任务的评测套件，基于 4 个前沿模型的 4,249 次 rollouts 和 26 个模型的 4,486 次额外试验。结果显示前沿智能体擅长结构元数据查询但几何计算较弱：131 项任务中数值任务占 28 项，却在四个模型全部失败的 12 项任务中占一半；三个前沿模型得分在 0.785 至 0.816 之间难以区分，第四个为 0.707。研究还发现评测排名受评测预算影响显著，单次运行时 23.9% 的 bootstrap 复现会得出不同的第一名，建议评测应按任务族报告结果并注明运行次数、harness 和访问条件。
来源：arXiv · cs.AI · arxiv.org