跳到正文
我的
Hugging Face · 新模型:uncensored·· 2 天前精选AI 评分62

npario 发布 gemma-4-12B-it-qat 的 abliterated 合并量化 GGUF 版本

npario/gemma-4-12B-it-qat-uncensored-heretic-UDmerge-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/npario/gemma-4-12B-it-qat-uncensored-heretic-UDmerge-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

npario 在 Hugging Face 发布 gemma-4-12B-it-qat-uncensored-heretic-UDmerge-GGUF,将 llmfan46 的 abliterated 张量合并进 Unsloth 的无损 Q4_0 量化版,提供 UDmerge-Q4_K_XL 与 UDmerge-Q4_K_XXL 两个变体。Q4_K_XXL 把 abliterated 张量量化到 Q8_0,拒绝率降至 14%,PPL 3.400、KLD 0.0903,优于朴素的 abliterated Q4_0 量化(拒绝率 22%)。作者附上 MMLU-val、拒绝率等测试脚本与数据,并提醒该 12B 模型 6%~7% 的原始拒绝率声称未能复现。

推荐理由

作者把消融张量与无损量化合并,并给出拒绝率、PPL、KLD 和 MMLU 的对照数据,可据此评估该去对齐量化版的实际质量。

来源:Hugging Face · 新模型:uncensored · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。