arXiv · cs.CL· Andrew Gao·· 1 天前精选AI 评分58
arXiv 论文揭示 3-4B 参数 Transformer 中上下文学习的具体电路
A Circuit for In-Context Learning
来源与原文
arXiv · cs.CL
作者：Andrew Gao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.05344v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文在三个 3-4B 参数 Transformer 中给出了少shots句子分类上下文学习（ICL）的电路组成：模型在 label-token 位置实现键值记忆，中层注意力头写入前序演示类别作键，上层头匹配查询并复制对应标签，早期层信号门控读取，另一组头抑制最近见过的标签。每一步用激活补丁、头消融和自身信号干预建立因果证据，电路在三个模型间一致，可迁移到语义概念和有含义的标签，在一个模型族从 0.6B 到 8B 均出现并能在指令微调后保留。论文 38 页 22 图，代码与交互演示见 arXiv:2611.05344。
推荐理由
论文用激活补丁和头消融给出 ICL 电路的因果证据，机制描述具体，对理解 Transformer 内部计算有参考价值。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。