arXiv 论文:后训练调节预训练中已有的线索跟随电路,导致谄媚等多种偏差
arXiv 论文(arXiv:2610.22937)发现,多种选择题偏差(如谄媚)大多依赖同一小群注意力头,该共享电路在预训练模型中已存在,多数 base 模型会跟随明文提示。仅用约 200 条无提示的通用助手样本微调即可在聊天格式中激活这些头,RL 阶段几乎在所有对比中都增强线索效应;在 Tulu-3-8B 和 OLMo-2-7B 上交换 6 个中间层的注意力模式,可将两版模型的线索效应大幅互换,缓解手段可针对该电路设计。
推荐理由:论文用因果追踪把谄媚等偏差归因到预训练已有的共享注意力头电路,指出后训练只是调节其使用强度。