arXiv · cs.CL· Jiahong Qian·· 13 天前精选AI 评分53
arXiv 论文评测 DeepSeek-V4-Flash 与 GLM-5.3-Flash 在网络威胁情报实体抽取中的失败模式与置信度信号
From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
来源与原文
arXiv · cs.CL
作者：Jiahong Qian
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20417v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由
论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。
来源：arXiv · cs.CL · arxiv.org