Fran Gómez Pulido 开源 AgentAudit 重复运行评测统计库

Fran Gómez Pulido 在 GitHub 发布开源统计库 AgentAudit，用于通过重复运行量化单次运行 Agent 榜单的统计误导程度，项目附离线确定性基准 AgentAudit-Bench 和实证研究，采用 MIT 许可。 附带的实证研究给出两组结果：对 SWE-bench Verified 的 129 个公开提交复分析显示，经 Holm 校正后 71.7% 的配对可区分，但 128 个相邻榜单排名中 0.0% 可区分；7 个 1B-7B 本地模型在 120 个核心任务各跑 10 次的实验中，运行噪声占方差 34.4%。 该库核心仅依赖 NumPy 和 SciPy，全程零成本、未使用付费 API。需注意真实模型实验使用的是单台笔记本上的 1B-7B 量化本地模型，其绝对分数不能推广到前沿 Agent。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。