Hugging Face · 新模型:abliterated·· 2 小时前精选AI 评分56
OSO-AI 发布 Qwen2.5-1.5B-Instruct 消融版 abliterated-s2,拒绝率从 97.5% 降到 17.5%
OSO-AI/Qwen2.5-1.5B-Instruct-abliterated-s2
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/OSO-AI/Qwen2.5-1.5B-Instruct-abliterated-s2
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
OSO-AI 发布 Qwen2.5-1.5B-Instruct 的 abliterated-s2 消融版,按 Arditi et al. 2024 单方向方法以 2.0 强度对 28 个 block 的 o_proj 与 down_proj 做权重正交化。n=40 评测中有害拒绝率从 97.5% 降到 17.5%,良性误拒从 10.0% 降到 0.0%,wikitext 困惑度 9.44 变为 12.87;发现 1.0 强度单次投影仅降到 67.5%,2 倍过正交化效果更好,且已在 llama.cpp 的 Q4_K_M 量化下验证。仓库 https://github.com/OSOSerious/oso-obliterated-models- ,作者定位其为研究产物而非工具。
推荐理由
原文给出完整的拒绝方向消融方法与基线对比数据,还记录了多个失败尝试,可供复现或比较不同的去对齐手术做法。
来源:Hugging Face · 新模型:abliterated · huggingface.co