Hugging Face · 新模型:abliterated·· 9 天前精选AI 评分54
Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布
alpha2beta/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-GPTQ-Int4-sym-G128-MTP-BF16
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/alpha2beta/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-GPTQ-Int4-sym-G128-MTP-BF16
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。
推荐理由
作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。
来源:Hugging Face · 新模型:abliterated · huggingface.co