Hugging Face · 新模型:uncensored·· 15 天前AI 评分44
Qwen3.8-27B-Uncensored 的非对称 GPTQ Int4 量化版发布,可单卡跑在 Intel Arc Pro B70 上
darioooooo0o/Qwen3.8-27B-Uncensored-GPTQ-Int4-asym
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/darioooooo0o/Qwen3.8-27B-Uncensored-GPTQ-Int4-asym
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
darioooooo0o 发布 orcarouter/Qwen3.8-27B-Uncensored(OrcaRouter 基于 Qwen/Qwen3.8-27B 的 abliterated 微调版)的非对称 GPTQ Int4 量化版,group 128,lm_head、MTP head 和 vision tower 保留 BF16。在 Intel Arc Pro B70 + vLLM XPU v0.31.0 上单卡实现 262,144 token 上下文与视觉、MTP k=4,短提示解码 64-128 tok/s,KL 散度 0.018-0.060、top-1 一致率 94.1%,优于对称 GPTQ Int4 g128 方案。
来源:Hugging Face · 新模型:uncensored · huggingface.co