跳到正文
arXiv · cs.CL· Wenqi Pei·· 1 天前AI 评分46

HALO:面向主动式智能体的细粒度人工评测基准

HALO: Human-Grounded Granular Evaluation of Proactive Agents

来源与原文

arXiv · cs.CL

作者:Wenqi Pei

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.39086v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 HALO,用于细粒度人工评测主动式智能体。HALO-Arena 覆盖依赖、阻碍、风险、机会 4 类主动需求、10 个日常领域和 50 个个人环境,并构建包含 10 个模型、400 个场景共 8,000 条回应、由 20 位专家标注的 HALO-8K 数据集;最佳闭源与开源模型可接受率分别为 72.88% 和 56.63%。研究发现过度主动是主要失败模式,时机过早或强度过度占被拒回应的 61.20%。

来源:arXiv · cs.CL · arxiv.org