跳到正文
Hugging Face · 新模型:uncensored·· 15 天前精选AI 评分66

CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速

CCSSNE/HauhauCS-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/CCSSNE/HauhauCS-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。

推荐理由

原文给出拒绝率实测结果和 llama.cpp 部署命令,还说明 QAT 4-bit 量化选型理由,可作为去对齐模型的参考样本。

来源:Hugging Face · 新模型:uncensored · huggingface.co