arXiv · cs.AI· Athanasios Glentis·· 10 小时前AI 评分45
MuonGS：用松弛的权重范数控制预训练 LLM
MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
来源与原文
arXiv · cs.AI
作者：Athanasios Glentis
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37647v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 MuonGS 优化器，用 Gram–Schmidt 投影去除 Muon 更新中的径向分量，不固定权重范数，并证明权重范数最多按 $\sqrt{t}$ 增长，累积有效学习率 $C_T=\Omega(\sqrt{T})$。在 160M、400M 稠密模型及 135M 激活/1B 总参数的 MoE 模型预训练中，MuonGS 在长训练周期下验证困惑度低于 MuonH，稠密模型在相同验证损失下估计获得最高约 15% 的 token 等效加速。
来源：arXiv · cs.AI · arxiv.org