NVIDIA NeMo AutoModel：基于 PyTorch DTensor 的 SPMD 开源训练库

NVIDIA 开源的 NeMo AutoModel 是 PyTorch DTensor 原生的 SPMD 训练库，支持 LLM、VLM、扩散模型和检索模型的预训练、SFT、LoRA/QLoRA 微调与知识蒸馏。同一训练脚本通过修改 device mesh 配置即可从 1 GPU 扩展到 1000+ GPU，支持 FSDP2、TP、CP、PP 等可组合并行、FP8/MXFP8 训练、MoE 加速（DeepEP）、序列打包与异步 checkpointing，与 Hugging Face 生态兼容实现 day-0 模型支持。