shaunakmahajan12 开源幻觉检测器:微调 ModernBERT-base 逐句判定 RAG 答案是否有据
该仓库发布了一个面向 RAG 等有据生成的句子级幻觉检测器,输入来源材料与答案,逐句评分来源是否支持。模型为微调 ModernBERT-base(150M 参数),在 RAGTruth 测试集(18,965 句)F1 0.652、AUROC 0.916,远超 zero-shot NLI 基线(F1 0.197);域外 LLM-AggreFact 上 BAcc 66.1。经 Platt 校准后 ECE 从 0.043 降至 0.016,Docker API 在 CPU 上约 1.2 秒每句,摘要类任务是弱项(F1 0.446)。