开源clinical-rag-evals：FDA指南语料RAG检索配置对比评测
热点事件持续更新
开源clinical-rag-evals：FDA指南语料RAG检索配置对比评测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
GitHub 用户 cstebs 发布 clinical-rag-evals 仓库，以 FDA 指南文档（124 份）为语料，公开 14 种检索配置在 85 道手写问题上的完整对比结果。结论包括：混合检索（BM25+dense）比纯 dense 高 +0.103 recall@5，256-token 分块效果更好，重排序在 512-token 块上反而变差，作者定位原因为 cross-encoder 窗口截断。 仓库还验证了 LLM judge 的可靠性：经 40 条人工盲标，正确性 κ=0.81、拒答 κ=1.00；生成环节零幻觉，但有 11 次误拒答，集中在 multi-hop 问题。 复现成本方面，检索部分无需凭证即可零成本复现，生成部分共花费约 5 美元 API 费用，每次运行记录附带各自的成本核算。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 04:29
cstebs/clinical-rag-evals：以 FDA 指南为语料的 RAG 评测框架开源报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库cstebs/clinical-rag-evals：以 FDA 指南为语料的 RAG 评测框架开源
作者开源 clinical-rag-evals，一个以 FDA 指南文档为语料的 RAG 评测框架，发布 14 种检索配置在 124 份文档、85 道手写问题上的完整对比表：混合检索（BM25+dense）比纯 dense 高 +0.103 recall@5，256-token 分块更好，重排序在 512-token 块上反而变差并定位到 cross-encoder 窗口截断原因。LLM judge 经 40 条人工盲标验证，正确性 κ=0.81、拒答 κ=1.00；生成零幻觉但有 11 次误拒答，集中在 multi-hop。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。