arXiv · cs.CL· Jorma Valjakka·· 21 天前AI 评分41
LLM 幻觉检测基准中的标注问题：一项实证评估
The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation
来源与原文
arXiv · cs.CL
作者：Jorma Valjakka
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.08026v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 NeurIPS 2026 评测与数据集赛道研究指出，LLM 幻觉检测基准存在“参考忠实性”与“事实正确性”两类标准的标注歧义。研究基于 900 个人工标注的问答对，测试词面相似度指标、NLI 基线和七个 LLM judge，发现各自动标注策略之间及其与人工标注存在显著分歧，且多呈现方向性误差偏置；将忠实性导向提示词换为事实正确性提示词通常能提升与人工标注的一致性并减少误报。
来源：arXiv · cs.CL · arxiv.org