arXiv · cs.AI· Sifan Yang·· 13 天前AI 评分32
基于残差校正的内存高效子空间优化：从 Momentum SGD 到 Muon
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
来源与原文
arXiv · cs.AI
作者：Sifan Yang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19844v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文提出残差校正框架，在子空间中维护优化器状态并将正交残差梯度加入参数更新，以降低 LLM 训练的内存成本。该框架将 momentum SGD 扩展为 SMRC、将 Muon 扩展为 PMRC，二者均达到 O(T^{-1/4}) 收敛率，与全空间版本匹配；多阶段变体通过周期性重算基并引入边界校正保持同阶收敛率。实验验证了算法的有效性与效率。
来源：arXiv · cs.AI · arxiv.org