arXiv · cs.AI· Dikshant Kukreja·· 22 小时前AI 评分39
侵入路径：非证据性上下文如何降低语言模型性能
The Intrusion Pathway: How Non-Evidential Context Degrades Language Model Performance
来源与原文
arXiv · cs.AI
作者：Dikshant Kukreja
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07778v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
语言模型在提示词含无关领域语句或随机分布外 token 时会丢失准确率，研究将这一损坏追溯到“侵入路径”：MLP 同时丰富查询主体与无关 token 表征，鹦鹉学舌式注意力头把前缀内容带到预测位置。干扰可定位到稀疏的侵入注意力头，替换被污染的末 token 残差可平均恢复 97.6% 的干扰导致性能下降，约十个头（约 1% 注意力头）的可部署掩码剔除恢复 57%。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。