HoldoutBench 开源：程序生成题目、附 95% 置信区间与重放验证的本地评测工具

独立开发者 John Michael Carlucci 发布 HoldoutBench（MIT 许可，v1.0.0rc1），用种子程序生成题目并按程序判分，避免手写答案键的错误与训练数据泄漏，每个分数附 95% 置信区间和最小可检测差异。holdoutbench compare 可判定两次运行的差异是否可靠，check_regrade.py 可从原始答案重新推导分数，开放权重结果可用 holdoutbench replay 复验；工具在本地运行，兼容 lm-evaluation-harness、Inspect、Ollama、llama.cpp 及各类 OpenAI 兼容 API。