GitHub · 灵魂体仓库·· 2 小时前AI 评分54
cstebs/clinical-rag-evals:以 FDA 指南为语料的 RAG 评测框架开源
cstebs/clinical-rag-evals
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cstebs/clinical-rag-evals
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源 clinical-rag-evals,一个以 FDA 指南文档为语料的 RAG 评测框架,发布 14 种检索配置在 124 份文档、85 道手写问题上的完整对比表:混合检索(BM25+dense)比纯 dense 高 +0.103 recall@5,256-token 分块更好,重排序在 512-token 块上反而变差并定位到 cross-encoder 窗口截断原因。LLM judge 经 40 条人工盲标验证,正确性 κ=0.81、拒答 κ=1.00;生成零幻觉但有 11 次误拒答,集中在 multi-hop。
来源:GitHub · 灵魂体仓库 · github.com