Qwen3.8-27B-Uncensored 的非对称 GPTQ Int4 量化版发布,可单卡跑在 Intel Arc Pro B70 上
darioooooo0o 发布 orcarouter/Qwen3.8-27B-Uncensored(OrcaRouter 基于 Qwen/Qwen3.8-27B 的 abliterated 微调版)的非对称 GPTQ Int4 量化版,group 128,lm_head、MTP head 和 vision tower 保留 BF16。在 Intel Arc Pro B70 + vLLM XPU v0.31.0 上单卡实现 262,144 token 上下文与视觉、MTP k=4,短提示解码 64-128 tok/s,KL 散度 0.018-0.060、top-1 一致率 94.1%,优于对称 GPTQ Int4 g128 方案。