跳到正文
GitHub · 3D 生成新仓库·· 11 天前AI 评分45

rag-hallucination-risk 开源项目:用 token 不确定性与语义漂移检测 RAG 幻觉

rajeeell/rag-hallucination-risk

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/rajeeell/rag-hallucination-risk

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Rajeeell 发布 rag-hallucination-risk 项目,通过 token 不确定性(perplexity 等)与答案—上下文语义漂移组合得分来检测检索增强生成中的幻觉。在长度匹配的受控实验中,perplexity 的 AUROC 达 0.81–0.91;校准后 Mean ECE 从 0.072 降至 0.035。在 RAGTruth QA 的 875 条真实回答上,perplexity 与组合得分的 Mean AUROC 分别为 0.584 和 0.643。实验覆盖 Phi-3-mini、Gemma-3-4B、Llama-3.1-8B、Qwen2.5-14B 及 HotpotQA、SQuAD 数据集,代码含生成/打分 notebook 与 CPU 分析脚本。

来源:GitHub · 3D 生成新仓库 · github.com