GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分57
ouuna 开源 llm-eval-quality：面向 RAG/LLM 应用的自动化质量评测与门禁框架
ouuna/llm-eval-quality
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ouuna/llm-eval-quality
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ouuna 在 GitHub 开源 llm-eval-quality，一套面向 RAG/LLM 应用的自动化测试与质量门禁框架，把输出质量变成可自动判定指标，在质量退化时拦截版本。核心包括声明级幻觉检测（变异检出率 95.3%）、4 层 13 条规则的质量门禁、基线退化检测与阈值校准工具，评测用例合计 74 条，Gold Set 30 条人工复核后 Accuracy 96.7%、Recall 100.0%。框架分层解耦数据集、Provider、评测器、统计层与门禁，CI 拆为 test/evaluation/regression 三档 Workflow，运行依赖 0 个第三方库。
推荐理由
项目给出了评测器自身的混淆矩阵、变异检出率和已知盲区，还写明 Gold Set 循环论证等局限，边界交代得比较少见地诚实。
来源：GitHub · 去对齐工具与仓库 · github.com