GitHub · 3D 生成新仓库·· 11 天前AI 评分45
rag-hallucination-risk 开源项目:用 token 不确定性与语义漂移检测 RAG 幻觉
rajeeell/rag-hallucination-risk
来源与原文
GitHub · 3D 生成新仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rajeeell/rag-hallucination-risk
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Rajeeell 发布 rag-hallucination-risk 项目,通过 token 不确定性(perplexity 等)与答案—上下文语义漂移组合得分来检测检索增强生成中的幻觉。在长度匹配的受控实验中,perplexity 的 AUROC 达 0.81–0.91;校准后 Mean ECE 从 0.072 降至 0.035。在 RAGTruth QA 的 875 条真实回答上,perplexity 与组合得分的 Mean AUROC 分别为 0.584 和 0.643。实验覆盖 Phi-3-mini、Gemma-3-4B、Llama-3.1-8B、Qwen2.5-14B 及 HotpotQA、SQuAD 数据集,代码含生成/打分 notebook 与 CPU 分析脚本。
来源:GitHub · 3D 生成新仓库 · github.com