arXiv · cs.CL· Hui Wang·· 10 天前AI 评分42
MisleadQA：诊断大语言模型在误导性上下文下的失效问题
MisleadQA: Diagnosing LLM Failures under Misleading Context
来源与原文
arXiv · cs.CL
作者：Hui Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24851v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 MisleadQA，一个带弃权选项的多选题诊断数据集，每题将 gold 上下文与真实但超出范围的上下文（S）和虚假但在范围内的上下文（F）配对。对六个开源权重 LLM 的评测显示：单独提供 S 会使 29.3% 答对的题转为错误答案，F 则达 75.4%；加入 gold 上下文几乎消除 S 的影响，但 F 仍误导 21.0%，尤其在 F 先出现时。忠实的上下文指令主要通过弃权减少此类错误，但即便有 gold 上下文也会降低准确率。
来源：arXiv · cs.CL · arxiv.org