Hugging Face · 新模型：uncensored·· 17 天前精选AI 评分63
gemma-4-31B-it-uncensored-heretic 的 EXL3 4-bit 量化发布，24 GB 单卡跑 194K 上下文
sjoe1244/gemma-4-31B-it-uncensored-heretic-exl3-4.00bpw-h4-vb4
来源与原文
Hugging Face · 新模型：uncensored
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/sjoe1244/gemma-4-31B-it-uncensored-heretic-exl3-4.00bpw-h4-vb4
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版，权重、head、视觉塔和 KV cache 均为 4-bit，在单张 RTX 4090 上实现约 194K token 上下文池（视觉开启），写入速度 45 tok/s（32K prompt 时 41.9 tok/s）。量化 KL mean 0.0262 与 4.00bpw-h6 相同，困惑度 16.687（BF16 源为 16.586）；仅支持 TabbyAPI 或 ExLlamaV3，Apache 2.0 许可，去对齐工作出自 llmfan46。
推荐理由
原文给出了完整的 KL、困惑度、VRAM 和速度实测数据，读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。
来源：Hugging Face · 新模型：uncensored · huggingface.co