跳到正文
GitHub · 去对齐工具与仓库·· 16 天前精选AI 评分68

mateus-aleixo 开源 maintenance-qa-agent,用共形风险控制为工业手册问答提供可弃答保证

mateus-aleixo/maintenance-qa-agent

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/mateus-aleixo/maintenance-qa-agent

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者开源了 maintenance-qa-agent,一个对工业维护手册做问答并在无法回答时主动弃答的 RAG 智能体,检索与共形置信门控已部署在 AWS Lambda。在 100 题测试池上,门控把回答错误率从 0.260 降到 0.031(α=0.1、覆盖率 64%),任意错误率从 0.540 降到 0.312。项目改用 token 概率读取 P(YES) 后 AUC 从 0.697 升到 0.821,并给出无框架纯 Python 实现架构、Prompt injection 测试集和扩展到 880 万段落 MS MARCO 的检索规模实测。仓库地址 https://github.com/mateus-aleixo/maintenance-qa-agent,MIT 许可。

推荐理由

作者用共形风险控制给 RAG 加弃答门槛,并把实测中的取舍与失败原因完整公开,方法可直接迁移到类似问答系统。

来源:GitHub · 去对齐工具与仓库 · github.com