arXiv · cs.CL· Yinuo Liu·· 2 天前精选AI 评分52
arXiv 论文提出检索失败源于注意力竞争而非上下文长度
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
来源与原文
arXiv · cs.CL
作者：Yinuo Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04169v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2611.04169）指出语言模型长输入检索失败的主因不是长度而是注意力竞争。在 0.5B 到 3B 的五个开源模型上，中性填充内容几乎不损失准确率（0.97 到 1.00，Qwen2.5-1.5B 上至 32K token），而与证据同格式的干扰语句将其降至 0.16 到 0.33；一个与查询键竞争的值会把损失放大 9 到 110 倍。模型内证据上的注意力质量在 126,473 次试验中最多解释 58% 的损失方差，log 长度至多 8%；该研究还复现了 MMLU 上 30K token 掉 11 到 18 分的遮蔽填充协议，但在检索中遮蔽本身掉 45 分。探针与全部试验级数据已开源。
推荐理由
论文用 126K 次实验把长文本失败归因到注意力竞争而非长度本身，并开放全部探针与逐次测量数据供检验。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。