arXiv · cs.AI· Sovesh Mohapatra·· 18 天前AI 评分34
任务上下文如何塑造大语言模型中组件的角色
Task Context Shapes Component Roles in Language Models
来源与原文
arXiv · cs.AI
作者：Sovesh Mohapatra
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13895v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项针对五个开源权重模型（跨四个模型族、1.5B-14B 参数）的研究发现，任务变化会重新分配注意力头的 influence。在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑可在保持指令不变的情况下切换模型读取的事实，同一批 head 会响应不同的图事实并以不同方式影响后续组件；对应的线性响应映射将预测均方误差在 Gemma 中降低 53.6%、Qwen 中降低 5.0%。这表明任务上下文同时改变共享组件响应的内容及其对后续计算的作用方式。
来源：arXiv · cs.AI · arxiv.org