Hugging Face Blog·· 2 天前精选AI 评分58
IBM Research 实测 CUGA、Hermes 与 Deep Agents:同一模型任务完成率相差最高 51 个百分点
Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?
来源与原文
Hugging Face Blog
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/ibm-research/cuga-harness
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
IBM Research 用同一开源权重模型 GLM-5.3-flash 在 AppWorld 90 个任务上对比三种 Agent harness,CUGA 完成 81.1%(73/90),Hermes 46.7%,Deep Agents 30.0%,一致性指标 SGC 差距更大(20/8/2)。文章认为 harness 需匹配工作负载,CUGA 面向企业场景提供运行时强制的策略层(Intent Guard、Tool Approval、ToolGuard 等),Apache 2.0 开源,支持私有与气隙部署;作者承认 CUGA 使用了其他 harness 没有的 AppWorld 专属配置,并邀请社区提交配置复测。
推荐理由
同一模型在不同 Agent harness 下任务完成率从 30% 到 81% 不等,对比方法和配置都公开可复现,可据此评估 harness 对结果的影响。
来源:Hugging Face Blog · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。