npario 发布 gemma-4-31B 的 UDmerge 去对齐 GGUF 量化版本
npario 在 Hugging Face 发布 gemma-4-31B-it-qat-uncensored-heretic-UDmerge-GGUF,将 llmfan46 的 abliterated 张量合并到 Unsloth 无损 Q4_0 量化中,称可获得比朴素消融量化更好的准确率和拒绝率。提供两个变体,UDmerge-Q4_K_XL 将 attn_output.weight(blk.10 至 blk.35)量化为 Q4_0,UDmerge-Q4_K_XXL 量化为 Q8_0,后者拒绝率 20%,与 QAT BF16 持平,且基本不影响 TG 速度;实测 QAT Q4_0 拒绝率为 32%。
推荐理由:作者用统一的 PPL、KLD、拒绝率和 MMLU 数据对比了合并版与朴素消融量化的差异,Q8_0 变体把拒绝率压回 20%。