GitHub · 灵魂体仓库·· 12 天前AI 评分64
ModelCloud 开源 GPTQModel 大模型量化与部署平台
ModelCloud/GPTQModel
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ModelCloud/GPTQModel
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ModelCloud 维护的 GPTQModel 是一个可扩展的 LLM 量化、验证与部署平台，支持 GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQ 等方法，覆盖 NVIDIA CUDA、AMD ROCm、华为昇腾、Intel XPU 和 CPU，并集成 Transformers、vLLM 和 SGLang。
来源：GitHub · 灵魂体仓库 · github.com