GitHub · 3D 生成新仓库·· 5 天前精选AI 评分65
rag-evaluation-testing-platform：一个可对比、可复现的 RAG 管线评测开源框架
vidhyasmart007/rag-evaluation-testing-platform
来源与原文
GitHub · 3D 生成新仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vidhyasmart007/rag-evaluation-testing-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源了 rag-evaluation-testing-platform，一个零运行时依赖的 RAG 管线评测框架，固定数据集跑问答、对检索和生成分別打分，输出可 diff 的 JSON+CSV 报告。它内置 lexical/dense/hybrid 三种检索器、extractive 与 Ollama 生成器、以及经 65 条人工标注验证的 LLM-as-judge（llama3.2:3b 对 gemini-3.8-flash），评审器在 49 条留出项上 κ 达 0.95，词元规则为 0.90；21 个用例基线中 qwen3:1.7b 开启推理模式可将幻觉率从 0.25 降到 0，代价是延迟约 5 倍。
推荐理由
项目不只给代码，还用 65 条人工标注实测了 LLM 评审与词元规则的差异，读者可借此理解 RAG 评测该测什么。
来源：GitHub · 3D 生成新仓库 · github.com