GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分65
agent-budget-semantics 差分测试 11 个 AI agent 框架的预算执行语义
elang2/agent-budget-semantics
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/elang2/agent-budget-semantics
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
elang2 发布 agent-budget-semantics 工具,对 11 个 AI agent 框架做差分测试,发现在同一任务、同一声明预算=3 下,实际消耗从 LangChain 的 3 次(525 tokens)到 Agno 的 10 次(3505 tokens),token 差距达 6.7x。测试通过确定性 mock LLM 与请求账本作为基准,识别出本地停止、客户端拒绝、协作式请求三种执行机制,并推动 OTel GenAI 语义约定 PR #439 因跨框架计数不可比而被作者撤回;工具支持 pip 或 Docker 安装,可接入 CI。
推荐理由
用同一 mock 负载实测 11 个 agent 框架的预算计数语义,读者可借其方法审视自己框架的预算与遥测数据。
来源:GitHub · 去对齐工具与仓库 · github.com