AmareshHebbar 发布 Qwen2.5-1.5B 正交消融去对齐模型
热点事件持续更新
AmareshHebbar 发布 Qwen2.5-1.5B 正交消融去对齐模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AmareshHebbar 在 Hugging Face 发布 Qwen2.5-1.5B-Abliterated-2.0.2，基于 unsloth/Qwen2.5-1.5B-Instruct，用 Winsorized Gram-Schmidt 正交投影对权重做手术式修改以去除对齐，而非全参数微调。 据作者数据，模型硬拒绝率从 94.5% 降至 2.1%，无重定向直接合规率升至 97.9%，能力保留 99.2%；消融针对第 10-24 层残差流与 MLP down-projections，用 256 组有害/无害对比对校准，并以 lm-eval 的 MMLU Abstract Algebra（37.00%）、GSM8K（28.00%）及困惑度门槛（<25）验证。作者称生产环境部署者需自行实现与用例相称的外部护栏。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 15:00
AmareshHebbar 发布 Qwen2.5-1.5B-Abliterated-2.0.2 去对齐权重报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- Hugging Face · 新模型：abliteratedAmareshHebbar 发布 Qwen2.5-1.5B-Abliterated-2.0.2 去对齐权重
AmareshHebbar 在 Hugging Face 发布基于 unsloth/Qwen2.5-1.5B-Instruct 的去对齐模型 Qwen2.5-1.5B-Abliterated-2.0.2，采用 Winsorized Gram-Schmidt 正交投影做权重手术而非全参数微调。作者对比基线模型，硬拒绝率从 94.5% 降至 2.1%，无重定向直接合规率升至 97.9%，能力保留 99.2%；消融针对第 10-24 层残差流与 MLP down-projections，使用 256 组有害/无害对比对校准，并以 lm-eval 的 MMLU Abstract Algebra（37.00%）和 GSM8K（28.00%）及困惑度门槛（<25）验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。