跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分58

kreuzhofer 开源 slurm-llm-training-templates:Slurm 集群上的 LLM 微调、评测与推理模板

kreuzhofer/slurm-llm-training-templates

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/kreuzhofer/slurm-llm-training-templates

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

kreuzhofer 在 GitHub 发布 slurm-llm-training-templates,提供 Slurm 集群上大语言模型微调、评测与推理的可用模板,涵盖 Qwen3.8-27B 的 LoRA 与全量微调、merge、评测与 serving,以及 GLM-5.3 用 vLLM 配 FP8 或 NVFP4 权重的推理。模板已在 2 × 8 NVIDIA B300 SXM6、Slurm 25.11.3(Soperator on Nebius)、CUDA 13.0 上验证,Qwen3.8-27B 模板的实测结果见 docs/RESULTS.md,采用 MIT 许可证。

推荐理由

仓库提供可直接复用的 Slurm 微调与推理模板,硬件环境、目录结构和实测结果文档都写清楚了,便于迁移到自己集群。

来源:GitHub · 去对齐工具与仓库 · github.com