arXiv · cs.AI· Raneem Mahajne·· 20 天前AI 评分32
完全可解释的极简 Transformer：从几何到算法
Fully Interpretable Minimal Transformers: From Geometry to Algorithm
来源与原文
arXiv · cs.AI
作者：Raneem Mahajne
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09838v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出一个构建和解释极简 Transformer 模型的框架，将嵌入维度和 head 大小限制为 2，从而可直接二维可视化 embeddings、Q/K/V 变换、attention 输出和残差流。作者在一个“遇到 '+' 时输出最近偶数”的任务上训练模型，并逐步可视化其计算过程，核心主张是学到的几何结构可读出逐步执行的算法。该框架可作为探索 Transformer 如何实现 next-token prediction 的教学和实验平台。
来源：arXiv · cs.AI · arxiv.org