GitHub · 灵魂体仓库·· 8 天前精选AI 评分56
RustyRAG 开源:Rust 单二进制 RAG 服务器,基准通过率 94.5% 且支持亚 200ms 首 token
danielasmit411/RustyRAG
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/danielasmit411/RustyRAG
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源 RustyRAG,一个 Rust 编写的单二进制 RAG 服务器,检索、重排、生成全流程控制在 1 秒内,无 reranker 时 TTFT 低于 200ms。在 Open RAG Bench 3,045 题上用 qwen-3-235b 做 LLM-as-judge 评测,开启 Jina Reranker v3 后通过率 94.5%(失败 167/3,024),关闭后 91.6%(失败 253/3,020),重排增加约 100ms TTFT 和约 370ms 总延迟。
推荐理由
README 给出了同一套 3,045 题基准下开关 reranker 的通过率与延迟对比,读者可据此自行权衡精度和速度的取舍。
来源:GitHub · 灵魂体仓库 · github.com