Hugging Face Blog·· 24 天前精选AI 评分74
微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行
The Agent Said It Was Done. The Database Disagreed.
来源与原文
Hugging Face Blog
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/microsoft/thinkingbox
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。
推荐理由
基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。
来源:Hugging Face Blog · huggingface.co