跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分65

agent-budget-semantics 差分测试 11 个 AI agent 框架的预算执行语义

elang2/agent-budget-semantics

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/elang2/agent-budget-semantics

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

elang2 发布 agent-budget-semantics 工具,对 11 个 AI agent 框架做差分测试,发现在同一任务、同一声明预算=3 下,实际消耗从 LangChain 的 3 次(525 tokens)到 Agno 的 10 次(3505 tokens),token 差距达 6.7x。测试通过确定性 mock LLM 与请求账本作为基准,识别出本地停止、客户端拒绝、协作式请求三种执行机制,并推动 OTel GenAI 语义约定 PR #439 因跨框架计数不可比而被作者撤回;工具支持 pip 或 Docker 安装,可接入 CI。

推荐理由

用同一 mock 负载实测 11 个 agent 框架的预算计数语义,读者可借其方法审视自己框架的预算与遥测数据。

来源:GitHub · 去对齐工具与仓库 · github.com