IBM 实测：同模型下三款 Agent harness 完成率相差最高 51 个百分点
先了解这件事
IBM Research 在 AppWorld 的 90 个任务上用同一开源模型 GLM-5.3-flash 对比 CUGA、Hermes、Deep Agents 三款 Agent harness，任务完成率分别为 81.1%（73/90）、46.7% 和 30.0%，一致性指标 SGC 差距更大（20/8/2）。文章据此认为 harness 需与工作负载匹配。 对比中，CUGA 是 IBM 面向企业场景的开源 harness（Apache 2.0），提供 Intent Guard、Tool Approval、ToolGuard 等运行时强制的策略层，支持私有与气隙部署。作者承认 CUGA 使用了其他 harness 没有的 AppWorld 专属配置，三方配置并非完全一致，并邀请社区提交配置进行复测。 测试限制需注意：每任务仅运行一次，且仅 90 个任务、单一基准，结果未必能推广到其他任务；各次运行均未启用策略，因此不反映策略执行能力。
AI 根据报道生成 · 9 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face Blog精选IBM Research 实测 CUGA、Hermes 与 Deep Agents：同一模型任务完成率相差最高 51 个百分点
IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 90 个任务上对比三种 Agent harness，CUGA 完成 81.1%（73/90），Hermes 46.7%，Deep Agents 30.0%，一致性指标 SGC 差距更大（20/8/2）。文章认为 harness 需匹配工作负载，CUGA 面向企业场景提供运行时强制的策略层（Intent Guard、Tool Approval、ToolGuard 等），Apache 2.0 开源，支持私有与气隙部署；作者承认 CUGA 使用了其他 harness 没有的 AppWorld 专属配置，并邀请社区提交配置复测。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 411月5日 05:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。