arXiv · cs.CL· Giyeong Oh·· 6 天前AI 评分37
Transformer MLP 中的读-写耦合机制分析
Reader--Writer Coupling in Transformer MLPs
来源与原文
arXiv · cs.CL
作者：Giyeong Oh
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29340v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文将 Transformer MLP 的每个隐通道分解为决定响应时机的 reader 和决定写回残差流内容的 writer，利用更新的 Jacobian 为每个通道计算带符号的配对坐标。测量显示各 block 都存在小的强耦合通道核心，且几乎全部呈对立方向——writer 朝 reader 响应方向的反方向写入，这一模式从从头训练的小模型到已发布 checkpoint 都成立，训练早期几步内即定型。翻转对立 writer 会使输出偏向常见 token，被置换到其他 reader 的 writer 会重新适配该 reader。
来源：arXiv · cs.CL · arxiv.org