Hugging Face · 新模型:abliterated·· 3 小时前AI 评分54
AmareshHebbar 发布 Qwen2.5-1.5B-Abliterated-2.0.2 去对齐权重
AmareshHebbar/Qwen2.5-1.5B-Abliterated-2.0.2
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/AmareshHebbar/Qwen2.5-1.5B-Abliterated-2.0.2
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AmareshHebbar 在 Hugging Face 发布基于 unsloth/Qwen2.5-1.5B-Instruct 的去对齐模型 Qwen2.5-1.5B-Abliterated-2.0.2,采用 Winsorized Gram-Schmidt 正交投影做权重手术而非全参数微调。作者对比基线模型,硬拒绝率从 94.5% 降至 2.1%,无重定向直接合规率升至 97.9%,能力保留 99.2%;消融针对第 10-24 层残差流与 MLP down-projections,使用 256 组有害/无害对比对校准,并以 lm-eval 的 MMLU Abstract Algebra(37.00%)和 GSM8K(28.00%)及困惑度门槛(<25)验证。
来源:Hugging Face · 新模型:abliterated · huggingface.co