热点事件观察中

论文揭示3-4B参数模型上下文学习的门控关联查找电路

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Andrew Gao 在 arXiv 论文（arXiv:2611.05344）中给出了三个 3-4B 参数 Transformer 中少样本句子分类上下文学习（ICL）的电路组成：模型在 label-token 位置实现键值记忆，中层注意力头写入前序演示的类别作为键，上层注意力头匹配查询并复制对应标签，早期层信号门控读取，另有注意力头抑制最近见过的标签。论文用激活补丁、头消融和自身信号干预为每一步建立因果证据，称该电路在三个模型间一致，可迁移到语义概念和有含义的标签，在一个模型族从 0.6B 到 8B 均出现并能在指令微调后保留。论文 38 页 22 图，代码与交互演示随论文发布。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月4日

02:44
arXiv · cs.CL精选
arXiv 论文揭示 3-4B 参数 Transformer 中上下文学习的具体电路
论文在三个 3-4B 参数 Transformer 中给出了少shots句子分类上下文学习（ICL）的电路组成：模型在 label-token 位置实现键值记忆，中层注意力头写入前序演示类别作键，上层头匹配查询并复制对应标签，早期层信号门控读取，另一组头抑制最近见过的标签。每一步用激活补丁、头消融和自身信号干预建立因果证据，电路在三个模型间一致，可迁移到语义概念和有含义的标签，在一个模型族从 0.6B 到 8B 均出现并能在指令微调后保留。论文 38 页 22 图，代码与交互演示见 arXiv:2611.05344。

本事件热度走势

可比范围当前: 4
可比范围峰值: 511月5日 03:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。