aleenabenny0/agent-evals 开源工具型 LLM Agent 评测框架,优先用确定性评分抓幻觉
GitHub 开源项目 agent-evals 发布,用于测量工具调用型 LLM Agent 的准确率与幻觉,通过保留集验证的改动改进 Agent。框架包含 AWS docs agent(逐条引用与文档快照核对,虚构页面和错引由代码标记)和 boto3 代码 agent(按 botocore 服务模型检查 API 调用,在 moto 无网络沙箱运行)。评分优先用引用检查、关键词检查等纯代码确定性 graders,代码无法判定的部分才用 LLM judge;每个指标带 bootstrap 置信区间、McNemar 检验和 τ-bench 的 pass^k,运行记录含 git SHA、prompt hash 等完整 manifest。
推荐理由:开源的 Agent 评测框架,先跑代码级确定性评分再上 LLM judge 的思路值得借鉴,统计方法部分也可迁移到自家项目。