开源分布式推理引擎 gLLM：支持 DeepSeek V4 与 Qwen3.8 的流水线并行推理框架

gLLM 是一个面向分布式 LLM serving 的开源推理引擎，2025 年 4 月开源，相关论文发表于 SC'25，DynaPipe 被 NeurIPS'25 接收。它支持 dense、MoE、多模态和混合注意力架构，集成 continuous batching、paged attention、chunked prefill、prefix caching、cuda graph、token throttling，以及流水线、张量和专家并行。2026/08/31 已支持 DeepSeek V4（mHC 超连接、KV 压缩、lightning indexer、MXFP4 专家），此前还支持了 Qwen3.8、DeepSeek V3.2、Kimi K2.5/K2.6/K2.7-Code 等。