跳到正文
arXiv · cs.CL· Xu Hu·· 7 天前AI 评分48

CUA-Recovery:面向长时程计算机使用智能体错误恢复的基准测试

CUA-Recovery: Benchmarking Error Recovery in Long-Horizon Computer-Use Agents

来源与原文

arXiv · cs.CL

作者:Xu Hu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.27645v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 CUA-Recovery 基准,用 ReRail 框架在持久桌面环境中合成多应用长时程任务,评估计算机使用智能体(CUA)的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态(100 个任务),训练集含 8.6K 轨迹(377 个任务);六款智能体错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后,其平均 EAR 从 19.9% 升至 35.2%,Rubric Score 从 5.0% 升至 16.1%,并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。

来源:arXiv · cs.CL · arxiv.org