agent-budget-semantics 差分测试 11 个 AI agent 框架的预算执行语义
elang2 发布 agent-budget-semantics 工具,对 11 个 AI agent 框架做差分测试,发现在同一任务、同一声明预算=3 下,实际消耗从 LangChain 的 3 次(525 tokens)到 Agno 的 10 次(3505 tokens),token 差距达 6.7x。测试通过确定性 mock LLM 与请求账本作为基准,识别出本地停止、客户端拒绝、协作式请求三种执行机制,并推动 OTel GenAI 语义约定 PR #439 因跨框架计数不可比而被作者撤回;工具支持 pip 或 Docker 安装,可接入 CI。
推荐理由:用同一 mock 负载实测 11 个 agent 框架的预算计数语义,读者可借其方法审视自己框架的预算与遥测数据。