GitHub · 去对齐工具与仓库·· 1 小时前精选AI 评分62
AgentAudit 开源：量化单次运行 Agent 榜单的统计误导程度
fragompul/agentaudit
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/fragompul/agentaudit
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Fran Gómez Pulido 发布 AgentAudit，一个用于重复运行 Agent 评测的统计库，附离线确定性基准 AgentAudit-Bench 和实证研究。对 SWE-bench Verified 的 129 个公开提交复分析显示，Holm 校正后 71.7% 的配对可区分，但 128 个相邻榜单排名中 0.0% 可区分；7 个 1B-7B 本地模型在 120 个核心任务各跑 10 次的实验中，运行噪声占方差 34.4%。核心仅依赖 NumPy 和 SciPy，全程零成本未用付费 API，MIT 许可。
推荐理由
作者用公开榜单复分析和模拟研究量化了单次运行Agent评测的误导程度，给出可复用的统计工具和重复实验方法。
来源：GitHub · 去对齐工具与仓库 · github.com