Hugging Face · 趋势模型·· 2 天前精选AI 评分78
AtomicChat 发布 Inkling-2-Mini Uncensored 去对齐 GGUF 版
AtomicChat/Inkling-2-Mini-Uncensored-GGUF
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/AtomicChat/Inkling-2-Mini-Uncensored-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AtomicChat 发布 thinkingmachines/Inkling-2-Mini(26.4B MoE,3.4B 激活)的 uncensored 版本,提供三个内置修改的 GGUF 文件和一个可用于任意基础 GGUF 的 LoRA 适配器,Apache-2.0 许可。修改方式是在全部 24 层写入残差流的 49 个位置加 rank-1 LoRA,逐层去除有害与无害提示均值激活之差构成的拒绝方向。实测加适配器后英文有害测试提示拒绝率从 81 降为 0,俄语从 91 降为 0;代价是 MMLU 从 80.65% 降至 79.15%(-1.5 分,McNemar p=0.006),无害提示首 token KL 为 0.94(门限 0.10)。
推荐理由
原文给出了每层去除拒绝方向的方法、拒绝率与 MMLU 等对照数据,可自行判断这个去对齐版本损失了多少能力。
来源:Hugging Face · 趋势模型 · huggingface.co