跳到正文
Hugging Face · 趋势模型·· 2 天前精选AI 评分78

AtomicChat 发布 Inkling-2-Mini Uncensored 去对齐 GGUF 版

AtomicChat/Inkling-2-Mini-Uncensored-GGUF

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/AtomicChat/Inkling-2-Mini-Uncensored-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AtomicChat 发布 thinkingmachines/Inkling-2-Mini(26.4B MoE,3.4B 激活)的 uncensored 版本,提供三个内置修改的 GGUF 文件和一个可用于任意基础 GGUF 的 LoRA 适配器,Apache-2.0 许可。修改方式是在全部 24 层写入残差流的 49 个位置加 rank-1 LoRA,逐层去除有害与无害提示均值激活之差构成的拒绝方向。实测加适配器后英文有害测试提示拒绝率从 81 降为 0,俄语从 91 降为 0;代价是 MMLU 从 80.65% 降至 79.15%(-1.5 分,McNemar p=0.006),无害提示首 token KL 为 0.94(门限 0.10)。

推荐理由

原文给出了每层去除拒绝方向的方法、拒绝率与 MMLU 等对照数据,可自行判断这个去对齐版本损失了多少能力。

来源:Hugging Face · 趋势模型 · huggingface.co