跳到正文
Hugging Face · 新模型:abliterated·· 17 天前精选AI 评分76

Qwen3.8-27B abliterated 版本发布,权重级消融将拒绝率从 99.3% 降至 0%

rajaykumar12959/qwen3.8-27b-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/rajaykumar12959/qwen3.8-27b-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本,用 difference-in-means 方向对每个残差写入权重矩阵做正交化,消融直接写入 checkpoint,无 runtime hook 和 LoRA,仅含语言模型部分(bf16,text-only,约需 55 GB 显存)。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%,覆盖全部 12 个类别;代价是 MMLU-Pro 从 65.1% 降至 61.8%(−3.3 pp),harmless 提示上的 KL 散度为 0.086 nats。

推荐理由

给出了完整的消融方法、逐层扫描和拒绝率前后对比数据,读者可以据此评估这次去对齐的实际代价与副作用。

来源:Hugging Face · 新模型:abliterated · huggingface.co