arXiv · cs.AI· Tan Sang Nguyen·· 21 天前精选AI 评分61
RoboColosseum:分布式真实环境大规模评测机器人物理智能
RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
来源与原文
arXiv · cs.AI
作者:Tan Sang Nguyen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.02497v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 RoboColosseum,一个连接多地本地机器人的分布式评估框架,统一策略服务与标准化协议。初期研究在 SO-101、Franka、Bimanual-YAM 和 G1 Humanoid 四种本体上评测五个 VLA 策略和三个前沿 AI Agent,Open Track 在 124 个站点完成 5,699 次盲测两两对比,前沿 Agent 可比肩专用 VLA 策略,但所有系统都难以可靠完成开放世界任务;微调后 GR00T N1.7 在 SO-101 领先,pi0.5 在 Franka 和 Bimanual-YAM 领先,Kendall W = 0.24 表明排名跨本体一致性弱,且 Open Track 排名难以预测微调后表现。
推荐理由
原文给出跨四种本体、124 个站点的分布式实测数据,展示开放评测与微调后排名的显著不一致,方法可迁移。
来源:arXiv · cs.AI · arxiv.org