GitHub · 灵魂体仓库·· 6 天前精选AI 评分63
开源工具 HarnessProbe 发布：量化编码智能体成绩中模型与 harness 各占多少
caoxiuhui520-stack/harness-probe
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/caoxiuhui520-stack/harness-probe
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 HarnessProbe 开源，通过同一模型、同一任务、同一评分器下只切换 harness 配置的矩阵实验，输出 delta 和 Harness Sensitivity Index 而非榜单。作者给出一次 66 trials 的实测示例显示，11 个配置中 10 个得分相同，唯一移除 shell（无法运行测试）的 no-shell 配置掉 16.7 分，说明提示词调整是噪声、验证权限才是主要信号。工具含 6 个双向验证的任务、Wilson 置信区间、pass@k/pass^k 与 flakiness 指标、隔离沙箱，支持 Anthropic、OpenAI 兼容端点、DeepSeek 和 Ollama 本地模型，MIT 协议。
推荐理由
它把 harness 当作唯一变量做矩阵实测，并诚实给出置信区间与任务过易的局限，区分模型能力与脚手架贡献。
来源：GitHub · 灵魂体仓库 · github.com