Maximilian228 发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 NVFP4 GPTQ 量化包
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包,全部路由专家用 GPTQ(而非 RTN)从 BF16 检查点量化,可在单张 RTX 20-50 显卡(12 GB 以上显存、64 GB 以上内存)上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上,GPTQ 的加权相对误差为 RTN 的 33.5%,48 层全部优于 RTN;实测 182.8 tok/s 解码、2810 tok/s prefill,解码成本与 RTN 持平。
推荐理由:原文给出完整的 GPTQ 量化方法和 48 层误差对比数据,读者可以据此评估 NVFP4 消融模型的精度与部署成本。