热点事件持续更新

rag-eval-lab 开源 arXiv 问答检索对比实验

1 篇报道1 个报道来源14 分钟前更新

先了解这件事

AI 综述

arad1367 发布开源项目 rag-eval-lab：一个基于近期 arXiv cs.CL 摘要的问答系统，并附带受控实验比较 BM25、稠密向量与 RRF 混合三种检索方法，用合成测试集计算 Recall@k 与 MRR，给出 bootstrap 置信区间和配对显著性检验，另用 LLM-as-a-judge 评估答案忠实度。项目提供 FastAPI 服务、pytest 测试、Docker 与 GitHub Actions CI/CD，可本地复现整套流程。项目自述的限制：测试问题由 LLM 合成，可能偏向关键词重合；仅约 50 道题，置信区间较宽；只用摘要、不含全文。在线演示部署在 Render 免费计划上，闲置 15 分钟后的首次请求约需一分钟唤醒服务器。

AI 根据报道生成 · 9 分钟前更新

最新进展11月8日 00:35

rag-eval-lab 开源 arXiv 论文问答与检索方法对比实验

报道时间线

沿着报道，了解事件的不同侧面。

11月8日

00:35
GitHub · 3D 生成新仓库
rag-eval-lab 开源 arXiv 论文问答与检索方法对比实验
rag-eval-lab 开源了一个基于近期 arXiv cs.CL 摘要的问答系统，并附带受控实验比较 BM25、稠密向量与 RRF 混合三种检索方法的效果。实验用合成测试集计算 Recall@k 与 MRR，给出 bootstrap 置信区间和配对显著性检验，还用 LLM-as-a-judge 评估答案忠实度。项目提供 FastAPI 服务、pytest 测试、Docker 与 GitHub Actions CI/CD，可本地复现整套流程。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。