发布自动驾驶化学实验室具身基准BEAKER

Fei Lin 等研究者发布 BEAKER 基准，用于评测自动驾驶化学实验室中具身大脑的能力，该工作被 NeurIPS 2026 评测与数据集 Track 接收为 Spotlight。 BEAKER 包含 1,000 个由化学与具身 AI 专家人工编制并审核的问答样本（未使用 AI 生成或标注），覆盖 11 类图像与视频任务。研究在离线单轮设置下评测了 28 个通用、科学、化学与具身多模态大模型，发现模型能跟随视频中的粗粒度实验流程，但在动作落点定位、细粒度仪器与安全识别、中长流程步骤排序上仍有明显不足。

AI 根据报道生成 · 23 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。