GitHub · 灵魂体仓库·· 19 天前AI 评分45
SportSee NBA RAG 助手评估项目 sportsee-llm-eval:用 RAGAS 与 Pydantic 体系重建检索链路
maximebarbier01/sportsee-llm-eval
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/maximebarbier01/sportsee-llm-eval
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该仓库针对 SportSee 的 NBA 表现分析 RAG 助手进行审计与重构,用 RAGAS 评估并以 Pydantic 校验数据、Pydantic AI 结构化输出、Pydantic Logfire 追踪全链路。在固定 32 个问题、mistral-large-latest 评审、k=5 的条件下,rag_v2 相比原型将回答准确率从 0.32 提升至 0.68,faithfulness 从 0.27 升至 0.82,4 个超出覆盖范围的问题全部正确拒答,平均延迟从 4.5s 降至 1.4s。
来源:GitHub · 灵魂体仓库 · github.com