GitHub · 灵魂体仓库·· 13 天前精选AI 评分61
TrustBench 开源 LLM/RAG 统计回归门禁工具
Pacosalazar8403/trustbench
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Pacosalazar8403/trustbench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Pacosalazar8403 在 GitHub 发布 TrustBench,一个针对 LLM 和 RAG 系统的统计回归门禁工具,处于 Pre-alpha 阶段。它在同一批样例上跑 baseline 与 candidate,用配对 bootstrap、McNemar 精确检验、Holm 校正和功效分析判断改动是真变差还是噪声,仅在显著回归时退出码 1 使 CI 失败。附带 248 个经证据验证的 UCCS 文档问答样例、BM25 检索基线与答案缓存,并给出 llama3.2:1b 对比 llama3.2:3b 的首个实测:43 个可判定样例通过率从 27.9% 升至 55.8%,p = 0.0005。
推荐理由
README 详述了用配对统计做 RAG 回归门禁的完整方法与实测数据,读者可以借此理解如何区分真实质量变化和运行噪声。
来源:GitHub · 灵魂体仓库 · github.com