aleenabenny0/agent-evals 开源工具型 LLM Agent 评测框架，优先用确定性评分抓幻觉

GitHub 开源项目 agent-evals 发布，用于测量工具调用型 LLM Agent 的准确率与幻觉，通过保留集验证的改动改进 Agent。框架包含 AWS docs agent（逐条引用与文档快照核对，虚构页面和错引由代码标记）和 boto3 代码 agent（按 botocore 服务模型检查 API 调用，在 moto 无网络沙箱运行）。评分优先用引用检查、关键词检查等纯代码确定性 graders，代码无法判定的部分才用 LLM judge；每个指标带 bootstrap 置信区间、McNemar 检验和 τ-bench 的 pass^k，运行记录含 git SHA、prompt hash 等完整 manifest。