GitHub · 灵魂体仓库·· 20 天前AI 评分60
blackwell-llm-docker:面向 NVIDIA Blackwell GPU 的 vLLM/SGLang 推理 Docker 镜像仓库
local-inference-lab/blackwell-llm-docker
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/local-inference-lab/blackwell-llm-docker
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
local-inference-lab 的 blackwell-llm-docker 仓库提供在 NVIDIA Blackwell(SM120)96 GiB GPU 上运行 LLM 推理的预构建 Docker 镜像与 Compose 配方,覆盖 SGLang 与 vLLM。仓库内置 DeepSeek V4、GLM-5.2、Kimi-K3、Qwen3.5 等模型的 serving 配置,含 DSpark/DFlash 推测解码、NVFP4/EXL3 量化、KV offload 与 FlashInfer/DeepGEMM 源码编译栈,各发布版本附吞吐与 KLD 实测数据及 validation 目录下的可复现源码锁收据。
来源:GitHub · 灵魂体仓库 · github.com