arXiv · cs.AI· Yifei Yao·· 14 小时前AI 评分44
用 EBench 评测前沿 Agent:GPT-6-Astra 从直接控制到结合策略的 Harness
Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy
来源与原文
arXiv · cs.AI
作者:Yifei Yao
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35832v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。
来源:arXiv · cs.AI · arxiv.org