跳到正文
GitHub · 灵魂体仓库·· 1 小时前精选AI 评分56

yippp 开源 llm-docker-builder:训练与推理一体 Docker 镜像,适配 A800/H20/H200/B300

yippp/llm-docker-builder

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/yippp/llm-docker-builder

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

yippp 发布 llm-docker-builder,构建覆盖训练与推理的 Docker 镜像,目标卡型 A800 / H20 / H200 / B300,经 GitHub Actions 推送到 GHCR 并导出 .tar.gz 上传 HuggingFace Dataset。镜像基于 CUDA 13.3 与 Python 3.12,集成 vLLM、ms-swift、DeepSpeed(预编译四个算子)、Megatron-LM 及多种量化方案,附 JupyterLab、code-server 与 zsh 环境;构建时运行 verify-imports.py 全量校验导入并生成形如 cu133-py312-vllm0.32.0-swift4.6.0-rl 的版本 tag。

推荐理由

作者详述了各组件版本为何如此固定与互斥,读者可以照抄这套构建决策避免自己踩同样的依赖冲突坑。

来源:GitHub · 灵魂体仓库 · github.com