arXiv · cs.CL· Wenqi Pei·· 1 天前AI 评分46
HALO:面向主动式智能体的细粒度人工评测基准
HALO: Human-Grounded Granular Evaluation of Proactive Agents
来源与原文
arXiv · cs.CL
作者:Wenqi Pei
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39086v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 HALO,用于细粒度人工评测主动式智能体。HALO-Arena 覆盖依赖、阻碍、风险、机会 4 类主动需求、10 个日常领域和 50 个个人环境,并构建包含 10 个模型、400 个场景共 8,000 条回应、由 20 位专家标注的 HALO-8K 数据集;最佳闭源与开源模型可接受率分别为 72.88% 和 56.63%。研究发现过度主动是主要失败模式,时机过早或强度过度占被拒回应的 61.20%。
来源:arXiv · cs.CL · arxiv.org