Transformer MLP 中的读-写耦合机制分析
arXiv 论文将 Transformer MLP 的每个隐通道分解为决定响应时机的 reader 和决定写回残差流内容的 writer,利用更新的 Jacobian 为每个通道计算带符号的配对坐标。测量显示各 block 都存在小的强耦合通道核心,且几乎全部呈对立方向——writer 朝 reader 响应方向的反方向写入,这一模式从从头训练的小模型到已发布 checkpoint 都成立,训练早期几步内即定型。翻转对立 writer 会使输出偏向常见 token,被置换到其他 reader 的 writer 会重新适配该 reader。