跳到正文
Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分64

gemma4-12b-it-abliterated 发布:从 Gemma 4 12B 权重中移除拒绝方向

pasangimhana/gemma4-12b-it-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/pasangimhana/gemma4-12b-it-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

pasangimhana 发布 gemma4-12b-it-abliterated,基于 google/gemma-4-12B-it 做权重编辑,将拒绝方向从残差写入中正交化移除,无训练无微调,bf16 单文件 23.9 GB,共修改 97 个张量。大基准(769 条有害提示)上有害拒绝率从 454 降到 6,comply 从 32% 升至 91%,良性提示退化输出率与基座相同(9/92);方法上在每层捕获 150 有害与 150 无害提示的残差求方向,采用以第 24、28 层为中心、sigma 6 的宽高斯带正交化,并强调嵌入编辑不可省略。使用时需将 <turn|>(token 106)设为停止符;模型无任何安全过滤,作者提醒不要无外部策略层直接公开部署,且未跑 MMLU、GSM8K 等能力基准。

推荐理由

原文给出消融方法、拒绝率前后对比和退化输出对照,读者可据此判断这次权重编辑去掉了多少拒绝行为、代价多大。

来源:Hugging Face · 新模型:abliterated · huggingface.co