GitHub · 灵魂体仓库·· 20 天前AI 评分53
agenteval:两层评测 LLM Agent 的开源工具发布
AnhDuongVo/agenteval
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/AnhDuongVo/agenteval
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AnhDuongVo 在 GitHub 发布 agenteval,从行为和声明两层评测 LLM Agent。Level 1 通过适配器将 LangGraph、LlamaIndex 和 OpenAI tool-calling 的 trace 归一化为统一 AgentRun 格式,输出工具成功率、工具选择准确率、grounding 率、任务成功率、平均步数和循环率;Level 2 对每条声明核查引用是否存在、数字是否与来源一致及置信度校准(ECE、Brier),并附临床 Agent 示例,可输出 markdown 或 HTML 排行榜。工具采用 Apache-2.0 许可,不依赖各框架安装。
来源:GitHub · 灵魂体仓库 · github.com