GitHub · 灵魂体仓库·· 19 天前精选AI 评分59
TorchLLMTuner 开源：基于 Torch DeviceMesh 的 HuggingFace 模型混合并行训练框架
jianzhnie/TorchLLMTuner
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jianzhnie/TorchLLMTuner
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 GitHub 发布 TorchLLMTuner（Python 包名 llmtuner），一个面向 HuggingFace 模型的混合并行分布式训练框架，支持 FSDP2/HSDP、TP、PP（1F1B 与 Interleaved1F1B）、CP（kv_allgather 与 ulysses 双策略）和 EP（HF MoE 置换、AllToAll dispatcher），并提供 TP×FSDP、TP×EP×CP 等多种并行组合，不支持的组合由 parallel/matrix.py 统一 loud-raise。
推荐理由
作者完整给出了混合并行框架的五族并行实现、组合矩阵与已知限制，读者可据此评估是否用于分布式训练。
来源：GitHub · 灵魂体仓库 · github.com