GitHub · 灵魂体仓库·· 20 天前AI 评分26
sjasthi/llm-rag-evals：一个对比 RAG 配置与评测方法的 LLM RAG 评测项目
sjasthi/llm-rag-evals
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sjasthi/llm-rag-evals
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
这是 ICS 499 毕业设计项目 sjasthi/llm-rag-evals，用于对比 RAG 配置与评测方法，研究如何最好地评估 RAG 响应。项目基于 27 份 Metro State 文档、77 个 chunk、50 道经审阅的 v2.0 Gold Standard 问题，结合 8 个本地指标、1 个 LLM judge、4 个 RAGAS 指标和人工评审，在 6 个受控条件下保存了 30 条响应。流程采用本地检查做初筛、LLM-as-judge 与 RAGAS 做针对性诊断、人工评审校准分歧，并通过 70 个无 provider 测试和 GitHub Actions 保证质量。
来源：GitHub · 灵魂体仓库 · github.com