arXiv · cs.CL· Benjamin Wilcox·· 20 天前AI 评分34
ArcticQA：面向 LLM 科学弃答能力的北极科研数据集与基准
Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science
来源与原文
arXiv · cs.CL
作者：Benjamin Wilcox
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09446v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究团队推出 ArcticQA 数据集，包含来自北极一手科研的 194 道问题，并构建 ArcticAbstain 基准，对比有答案与无答案条件下的弃答表现。评测覆盖 Gemini、Claude、ChatGPT 三个系列的 8 个模型，在 9,312 条记录中，有答案条件下的弃答率为 0.0%–63.0%，替换正确答案平均仅提升 5.05 个百分点，表明需同时评估弃答频率与灵敏度。
来源：arXiv · cs.CL · arxiv.org