研究者发布主动式Agent人工评测基准HALO及HALO-8K数据集
热点事件观察中
研究者发布主动式Agent人工评测基准HALO及HALO-8K数据集
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Wenqi Pei 等研究者在 arXiv 发布 HALO，一个面向主动式智能体的人工细粒度评测基准，并构建了 HALO-8K 数据集：包含 10 个模型在 400 个场景下共 8,000 条回应，由 20 位专家标注动作层级、可接受性判定和人工诊断。 评测套件 HALO-Arena 覆盖依赖、阻碍、风险、机会 4 类主动需求、10 个日常领域和 50 个个人环境。结果显示最佳闭源与开源模型的可接受率分别为 72.88% 和 56.63%；研究称过度主动是主要失败模式，时机过早或强度过度占被拒回应的 61.20%。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 08:26
HALO：面向主动式智能体的细粒度人工评测基准报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.CLHALO：面向主动式智能体的细粒度人工评测基准
研究者提出 HALO，用于细粒度人工评测主动式智能体。HALO-Arena 覆盖依赖、阻碍、风险、机会 4 类主动需求、10 个日常领域和 50 个个人环境，并构建包含 10 个模型、400 个场景共 8,000 条回应、由 20 位专家标注的 HALO-8K 数据集；最佳闭源与开源模型可接受率分别为 72.88% 和 56.63%。研究发现过度主动是主要失败模式，时机过早或强度过度占被拒回应的 61.20%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。