Pacosalazar8403 开源 LLM/RAG 统计回归门禁工具 TrustBench
热点事件历史事件
Pacosalazar8403 开源 LLM/RAG 统计回归门禁工具 TrustBench
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
用户 Pacosalazar8403 在 GitHub 发布 TrustBench,一个针对 LLM 和 RAG 系统的开源统计回归门禁工具,目前处于 Pre-alpha 阶段。它的思路是在同一批样例上运行 baseline 与 candidate,用配对 bootstrap、McNemar 精确检验、Holm 校正和功效分析判断改动是真变差还是噪声,仅在检测到显著回归时以退出码 1 使 CI 失败。 仓库附带 248 个经证据验证的 UCCS 文档问答样例、BM25 检索基线与答案缓存,并给出 llama3.2:1b 对比 llama3.2:3b 的首个实测:43 个可判定样例的通过率从 27.9% 升至 55.8%,p = 0.0005。需注意项目自述目前只包含项目骨架、质量工具、数据集 schema 和加载器,README 中标记为 Planned 的部分尚未构建。
AI 根据报道生成 · 3 天前更新
最新进展11月10日 14:12
TrustBench 开源 LLM/RAG 统计回归门禁工具报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- GitHub · 灵魂体仓库精选TrustBench 开源 LLM/RAG 统计回归门禁工具
Pacosalazar8403 在 GitHub 发布 TrustBench,一个针对 LLM 和 RAG 系统的统计回归门禁工具,处于 Pre-alpha 阶段。它在同一批样例上跑 baseline 与 candidate,用配对 bootstrap、McNemar 精确检验、Holm 校正和功效分析判断改动是真变差还是噪声,仅在显著回归时退出码 1 使 CI 失败。附带 248 个经证据验证的 UCCS 文档问答样例、BM25 检索基线与答案缓存,并给出 llama3.2:1b 对比 llama3.2:3b 的首个实测:43 个可判定样例通过率从 27.9% 升至 55.8%,p = 0.0005。