GitHub · 灵魂体仓库·· 1 小时前精选AI 评分56
yippp 开源 llm-docker-builder:训练与推理一体 Docker 镜像,适配 A800/H20/H200/B300
yippp/llm-docker-builder
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/yippp/llm-docker-builder
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
yippp 发布 llm-docker-builder,构建覆盖训练与推理的 Docker 镜像,目标卡型 A800 / H20 / H200 / B300,经 GitHub Actions 推送到 GHCR 并导出 .tar.gz 上传 HuggingFace Dataset。镜像基于 CUDA 13.3 与 Python 3.12,集成 vLLM、ms-swift、DeepSpeed(预编译四个算子)、Megatron-LM 及多种量化方案,附 JupyterLab、code-server 与 zsh 环境;构建时运行 verify-imports.py 全量校验导入并生成形如 cu133-py312-vllm0.32.0-swift4.6.0-rl 的版本 tag。
推荐理由
作者详述了各组件版本为何如此固定与互斥,读者可以照抄这套构建决策避免自己踩同样的依赖冲突坑。
来源:GitHub · 灵魂体仓库 · github.com