GitHub · 去对齐工具与仓库·· 20 天前AI 评分70
vLLM 量化工具 LLM Compressor 更新：Triton GPTQ 内核提速并发布多款 FP4 量化模型
vllm-project/llm-compressor
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vllm-project/llm-compressor
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
vLLM 项目旗下量化工具 LLM Compressor 发布一批更新：GPTQ 换用 Triton 内核后较原 eager 路径快约 15 倍，支持同形状层批处理（MoE 负载端到端约 30 倍），并扩展 FP4 的 MSE 与 iMatrix observer。Red Hat AI 团队用该工具产出多款生产级量化模型，包括 GLM-5.3 的 NVFP4/MXFP4、Qwen3.8-27B 的 INT4/NVFP4/MXFP4、Qwen3.8-2.4T-A95B 的 NVFP4 及 REAP 剪枝变体、Kimi-K3 的 NVFP4 与 FP8 等；GLM-5.2 NVFP4+FP8 混合精度在 DDP + disk offloading 下 2 小时内完成，模型体积缩减超 70%。
来源：GitHub · 去对齐工具与仓库 · github.com