Hugging Face · 新模型:abliterated·· 17 天前精选AI 评分76
Qwen3.8-27B abliterated 版本发布,权重级消融将拒绝率从 99.3% 降至 0%
rajaykumar12959/qwen3.8-27b-abliterated
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/rajaykumar12959/qwen3.8-27b-abliterated
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本,用 difference-in-means 方向对每个残差写入权重矩阵做正交化,消融直接写入 checkpoint,无 runtime hook 和 LoRA,仅含语言模型部分(bf16,text-only,约需 55 GB 显存)。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%,覆盖全部 12 个类别;代价是 MMLU-Pro 从 65.1% 降至 61.8%(−3.3 pp),harmless 提示上的 KL 散度为 0.086 nats。
推荐理由
给出了完整的消融方法、逐层扫描和拒绝率前后对比数据,读者可以据此评估这次去对齐的实际代价与副作用。
来源:Hugging Face · 新模型:abliterated · huggingface.co