跳到正文
Hugging Face · 新模型:uncensored·· 11 天前精选AI 评分62

AtomicChat 发布 Ternary-Bonsai-2-9B 去对齐 LoRA(GGUF)

AtomicChat/Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/AtomicChat/Ternary-Bonsai-2-9B-Uncensored-LoRA-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AtomicChat 在 Hugging Face 发布 rank-1 投影 LoRA,通过移除 Ternary-Bonsai-2-9B-gguf 残差写入路径(attn_output、ssm_out、ffn_down)的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。拒绝率从 100.0% 降至 0.0%,无害提示误拒从 1.9% 降至 0.0%,MMLU(n=300)从 76.0 降至 71.7;推荐 scale 1.0(1.5 开始退化),残差泄漏约 1e-4,作者标注为研究级产物,许可证继承基座模型。

推荐理由

原文给出拒绝率与 MMLU 的前后对照数据,读者可据此权衡这个去对齐 LoRA 的收益与能力损失。

来源:Hugging Face · 新模型:uncensored · huggingface.co