arXiv · cs.AI· Shlok Mehendale·· 20 小时前AI 评分46
arXiv 研究：Grokking 中的子空间结晶——秩压缩滞后于相变出现
Subspace Crystallization in Grokking: Rank Compression Tracks the Phase Transition
来源与原文
arXiv · cs.AI
作者：Shlok Mehendale
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35112v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究通过 mean-field MLP 和单层 Transformer 在模运算任务上分析 grokking 机制，发现权重矩阵有效秩的压缩发生在 grokking 出现之后而非之前：各 Transformer 均在 250 步内记住训练数据，而 grokking 起点在 6,500 至 21,000 步之间变化，秩下降最陡处在起点约 900 步后。研究还观察到"子空间结晶"现象，即保持输出精度所需的方向数从四分之一以上降至约十分之一。强制低秩反而延迟或阻止 grokking，说明秩压缩是 grokking 的标志而非原因。
来源：arXiv · cs.AI · arxiv.org