CEA 方法定位影响 Transformer 决策的注意力头
热点事件观察中
CEA 方法定位影响 Transformer 决策的注意力头
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Jipeng Li 在 arXiv 论文（2610.36524）中提出受控证据聚合（CEA）方法，通过在固定提示词中改变两个符号的数量与顺序，定位影响 Transformer 语言模型决策的注意力头，并配套提出 BUC 方法。 实验在 Pythia-410M 上进行：针对四种排序规则分别选择的 1-12 个头做消融，可去除 65.5-91.6% 的计数效应；在自然语言报告比较任务中，仅基于符号提示选出的 8 个头使平均准确率下降 8.2 个百分点，而同规模随机头组仅下降 0.8 个百分点。作者称，这表明符号探针找到的注意力头集合对自然语言决策也具有因果影响。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 10:27
Transformer 中证据效应的因果定位研究报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · cs.CLTransformer 中证据效应的因果定位研究
一项 arXiv 研究提出受控证据聚合（CEA）方法，通过在固定提示词中改变两个符号的数量与顺序，定位影响 Transformer 语言模型决策的注意力头。在 Pythia-410M 上，针对四种排序规则分别选择的 1-12 个头的消融可去除 65.5-91.6% 的计数效应；在自然语言报告比较任务中，仅基于符号提示选出的 8 个头使平均准确率下降 8.2 个百分点，而同规模随机头组仅 0.8。结果表明符号探针找到的注意力头集合对自然语言决策也具有因果影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。