Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布
alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。
推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。