arXiv · cs.CL· Masato Fujitake·· 18 小时前AI 评分43
EnergyCal：抑制 Muon 系优化器在稀疏 MoE 训练中的 loss 尖峰
EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
来源与原文
arXiv · cs.CL
作者：Masato Fujitake
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37062v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
EnergyCal 是一种轻量规则，按路由专家 Newton-Schulz 方向的归一化平方 Frobenius 范数衰减更新，不改变谱变换、不增加持久优化器状态，用于缓解 Muon 系优化器在稀疏 MoE 训练中的 loss 尖峰。在 4B 参数 MoE 模型上，相比低学习率的 MuonH 配方，EnergyCal-MuonH 将平均阈值化 loss 尖峰负担降低 99.51%，最终几何平均困惑度降低 4.06%，仅有少量吞吐开销；与同学习率的 plain Muon 相比，两组测试指数下尖峰负担平均降低 95.98%。
来源：arXiv · cs.CL · arxiv.org