npario 发布 gemma-4-12B 消融合并量化 GGUF
先了解这件事
npario 在 Hugging Face 发布 gemma-4-12B-it-qat-uncensored-heretic-UDmerge-GGUF，将 llmfan46 的 abliterated 张量合并进 Unsloth 的无损 Q4_0 量化版，提供 UDmerge-Q4_K_XL 与 UDmerge-Q4_K_XXL 两个变体。其中 Q4_K_XXL 把 abliterated 张量量化到 Q8_0，拒绝率降至 14%，PPL 3.400、KLD 0.0903，优于朴素的 abliterated Q4_0 量化（拒绝率 22%）。 作者附上 MMLU-val、拒绝率等测试脚本与数据，并说明 PPL/KLD 是在与 Heretic 相同的数据集（mlabonne/harmless_alpaca 测试集前 100 题）上测得，数字仅用于同一表格内比较，不能与其他模型对比；多模态和 MTP 支持需使用 Unsloth 的 mmproj 与 mtp GGUF 文件。作者还提醒，该 12B 模型原始 6%~7% 拒绝率的声称未能复现。
AI 根据报道生成 · 11 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face · 新模型：uncensored精选npario 发布 gemma-4-12B-it-qat 的 abliterated 合并量化 GGUF 版本
npario 在 Hugging Face 发布 gemma-4-12B-it-qat-uncensored-heretic-UDmerge-GGUF，将 llmfan46 的 abliterated 张量合并进 Unsloth 的无损 Q4_0 量化版，提供 UDmerge-Q4_K_XL 与 UDmerge-Q4_K_XXL 两个变体。Q4_K_XXL 把 abliterated 张量量化到 Q8_0，拒绝率降至 14%，PPL 3.400、KLD 0.0903，优于朴素的 abliterated Q4_0 量化（拒绝率 22%）。作者附上 MMLU-val、拒绝率等测试脚本与数据，并提醒该 12B 模型 6%~7% 的原始拒绝率声称未能复现。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 611月5日 04:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。