Qwen3.8-27B 无对齐 Heretic 版 UD-IQ4_XS 量化发布,16 GB 显卡开 MTP 达 55-68 tok/s
Qwen3.8-27B UD-IQ4_XS Heretic + MTP on a 16 GB card with 55-68 tok/s (24gb and 12gb versions available too)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/ZestRocket
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x1zhnx/qwen3827b_udiq4_xs_heretic_mtp_on_a_16_gb_card/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重,套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本,托管在 Hugging Face(codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF)。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s(关 MTP 仅 29/29),并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降(开 Chrome 掉到 0.2 tok/s),并附上配方提取与基准测试脚本。
同一新闻,精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头》
来源:Reddit · r/LocalLLaMA · reddit.com