Hugging Face 发布 MoE 训练手册：用 Megatron-LM 逐项设置训练 Mixture-of-Experts 模型

Hugging Face 的 lvwerra 发布 MoE 训练手册，面向已训练过 dense 模型、想转向 MoE 的读者。第 2 章是 Megatron-LM runbook（硬件测试、构建镜像、dense baseline、单节点首个 MoE 并对比 baseline），第 3 章拆解 MoE 层的 router、routing、load balancing、experts 等并逐项给出代码、建议和前沿 MoE 的选择，第 4 章覆盖 serving 与 RL；第 3、4 章无需 GPU。经验来自在 CSCS Alps 集群约 800k GH200 GPU-hours 的训练，同时发布了含 55 张图的 gallery、脚本和推荐参数汇总。