独立开发者开源 HoldoutBench 可验证评测工具

独立开发者 John Michael Carlucci 在 GitHub 开源了 HoldoutBench（MIT 许可，v1.0.0rc1），一个本地运行的评测工具。它通过种子程序生成题目并按程序判分，避免手写答案键的错误与训练数据泄漏，每个分数附 95% 置信区间和最小可检测差异。 工具提供多项验证功能：holdoutbench compare 可判定两次运行差异是否可靠，check_regrade.py 可从原始答案重新推导分数，开放权重模型结果可用 holdoutbench replay 复验。它兼容 lm-evaluation-harness、Inspect、Ollama、llama.cpp 及各类 OpenAI 兼容 API。 使用上有一些限制：目前尚未上架 PyPI，需在虚拟环境中直接从 GitHub 安装；官方计分模式仍在计划中尚未提供；调用付费 API 时每个题目都会产生费用，例如 --n 5 需 30 次请求，默认 300 次。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。