Hugging Face · 新模型：uncensored·· 16 天前精选AI 评分60
Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布，单卡 24 GB 跑满 262K 上下文
sjoe1244/Qwen3.8-27B-Uncensored-Heretic-exl3-4.00bpw-h4-vb4
来源与原文
Hugging Face · 新模型：uncensored
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/sjoe1244/Qwen3.8-27B-Uncensored-Heretic-exl3-4.00bpw-h4-vb4
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版，权重、lm_head、视觉塔和 MTP 头均为 4-bit，仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测：加载后显存 21.0 GB，无思考模式 155–167 tok/s，MTP 起草接受率 81%；作者注明只做了短测，最长提示词 9K tokens，质量未对照 BF16 源模型。许可为 Apache 2.0，去对齐工作来自 llmfan46。
推荐理由
作者给出了单张 24 GB 卡上的实测数据，包括显存、速度和 MTP 接受率，对想本地跑同款量化的人有直接参考价值。
来源：Hugging Face · 新模型：uncensored · huggingface.co