跳到正文
Hugging Face · 新模型:abliterated·· 2 小时前精选AI 评分56

OSO-AI 发布 Qwen2.5-1.5B-Instruct 消融版 abliterated-s2,拒绝率从 97.5% 降到 17.5%

OSO-AI/Qwen2.5-1.5B-Instruct-abliterated-s2

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/OSO-AI/Qwen2.5-1.5B-Instruct-abliterated-s2

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

OSO-AI 发布 Qwen2.5-1.5B-Instruct 的 abliterated-s2 消融版,按 Arditi et al. 2024 单方向方法以 2.0 强度对 28 个 block 的 o_proj 与 down_proj 做权重正交化。n=40 评测中有害拒绝率从 97.5% 降到 17.5%,良性误拒从 10.0% 降到 0.0%,wikitext 困惑度 9.44 变为 12.87;发现 1.0 强度单次投影仅降到 67.5%,2 倍过正交化效果更好,且已在 llama.cpp 的 Q4_K_M 量化下验证。仓库 https://github.com/OSOSerious/oso-obliterated-models- ,作者定位其为研究产物而非工具。

推荐理由

原文给出完整的拒绝方向消融方法与基线对比数据,还记录了多个失败尝试,可供复现或比较不同的去对齐手术做法。

来源:Hugging Face · 新模型:abliterated · huggingface.co