Hugging Face · 新模型:uncensored·· 15 天前精选AI 评分66
CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速
CCSSNE/HauhauCS-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/CCSSNE/HauhauCS-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。
推荐理由
原文给出拒绝率实测结果和 llama.cpp 部署命令,还说明 QAT 4-bit 量化选型理由,可作为去对齐模型的参考样本。
来源:Hugging Face · 新模型:uncensored · huggingface.co