跳到正文
Hugging Face · 新模型:uncensored·· 17 天前精选AI 评分52

Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头

codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化,采用 Unsloth 逐张量配方,MTP 头(blk.64)在各档保持 q6_K/q8_0,使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍,RTX 4080 上开启 MTP 后代码生成 55 tok/s,约为关闭时的 1.9 倍;拒绝率数据来自 llmfan46 的 Heretic v2(3/100 拒绝),本仓库未复测。

推荐理由

作者对每档量化都实测了 KLD、top-1 命中率和解码速度,并与同权重其他量化逐项对比,数据可直接用于选型。

来源:Hugging Face · 新模型:uncensored · huggingface.co