CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速
CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。
推荐理由:原文给出拒绝率实测结果和 llama.cpp 部署命令,还说明 QAT 4-bit 量化选型理由,可作为去对齐模型的参考样本。