完全可解释的极简 Transformer:从几何到算法
arXiv 论文提出一个构建和解释极简 Transformer 模型的框架,将嵌入维度和 head 大小限制为 2,从而可直接二维可视化 embeddings、Q/K/V 变换、attention 输出和残差流。作者在一个“遇到 '+' 时输出最近偶数”的任务上训练模型,并逐步可视化其计算过程,核心主张是学到的几何结构可读出逐步执行的算法。该框架可作为探索 Transformer 如何实现 next-token prediction 的教学和实验平台。