arXiv · cs.CL· Rounak Sen·· 2 天前AI 评分42
当"真值"并非真值:LLM 幻觉检测的自动标注可靠性研究
When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
来源与原文
arXiv · cs.CL
作者:Rounak Sen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04697v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究指出,用 BLEURT 等相似度指标自动构建幻觉检测的真值标签并不可靠。实验覆盖 15 个自动监督 judge、7 个检测基线、2 个生成模型、2 个 QA 数据集和 5 种语言,显示检测器性能随 judge 选择差异显著。人工验证发现 QGen-9B 整体误分类率最低(12.86%),而 BLEURT 和 BLEURT-n 高达 47.23% 和 47.32%。
来源:arXiv · cs.CL · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。