论文提出EnergyCal规则缓解Muon系优化器MoE训练loss尖峰
热点事件持续更新
论文提出EnergyCal规则缓解Muon系优化器MoE训练loss尖峰
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
Masato Fujitake在arXiv提交论文，提出轻量规则EnergyCal，用于缓解Muon系优化器在稀疏MoE训练中的loss尖峰。该规则按路由专家Newton-Schulz方向的归一化平方Frobenius范数衰减更新，不改变谱变换，也不增加持久优化器状态。 论文称，在4B参数MoE模型上，相比低学习率的MuonH配方，EnergyCal-MuonH将平均阈值化loss尖峰负担降低99.51%，最终几何平均困惑度降低4.06%，仅有少量吞吐开销；与同学习率的plain Muon相比，两组测试指数下尖峰负担平均降低95.98%。这些为论文自述的实验结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 19:31
EnergyCal：抑制 Muon 系优化器在稀疏 MoE 训练中的 loss 尖峰报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · cs.CLEnergyCal：抑制 Muon 系优化器在稀疏 MoE 训练中的 loss 尖峰
EnergyCal 是一种轻量规则，按路由专家 Newton-Schulz 方向的归一化平方 Frobenius 范数衰减更新，不改变谱变换、不增加持久优化器状态，用于缓解 Muon 系优化器在稀疏 MoE 训练中的 loss 尖峰。在 4B 参数 MoE 模型上，相比低学习率的 MuonH 配方，EnergyCal-MuonH 将平均阈值化 loss 尖峰负担降低 99.51%，最终几何平均困惑度降低 4.06%，仅有少量吞吐开销；与同学习率的 plain Muon 相比，两组测试指数下尖峰负担平均降低 95.98%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。