跳到正文
arXiv · cs.AI· Yifei Yao·· 14 小时前AI 评分44

用 EBench 评测前沿 Agent:GPT-6-Astra 从直接控制到结合策略的 Harness

Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy

来源与原文

arXiv · cs.AI

作者:Yifei Yao

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.35832v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。

来源:arXiv · cs.AI · arxiv.org