Abliterant发布Qwen3.5-9B去拒绝模型及量化版
先了解这件事
Abliterant 发布 Qwen3.5-9B-RANA-abliterated，用 RANA 去掉 Qwen/Qwen3.5-9B 的拒绝行为，提供 BF16 参考权重及 FP8、GGUF、MLX、AWQ 格式。据其模型卡，硬拒绝率从基座的 55.8% 降到 0.0–0.1%；在 BF16 版本上对比 bowmanslayer/Qwen3.5-9B-Uncensored，有害请求的有用回答率为 67.4% 对 52.5%，平均能力损失 0.79 pp 对 3.31 pp，与基座的 KL 距离 0.109 对 0.294。 GGUF 版面向 llama.cpp，含 15 种量化（Q8_0 9.53 GB 至 IQ2_M 3.61 GB）加 BF16 参考，Q8_0 相对 BF16 的 KLD 为 0.0032，Q4_K_M 为 0.0184，IQ2_M 升至 0.216；Abliterant 称 BF16 卡上的有害请求、能力和良性任务评测未在该格式重跑，功能检查仅覆盖 Q4_K_M。MLX 版面向 Apple Silicon，提供 4、5、6、8-bit 量化与 BF16 文件夹，附带 MTP 草稿模型用于投机解码，各档位均含视觉能力，8-bit 相对 BF16 的 KL 为 0.0009，4-bit 为 0.0539；拒绝行为未在该格式重测，也未实测 Apple Silicon。AWQ 4-bit 权重体积 11.7 GB（BF16 为 19.3 GB），用 vLLM 以 compressed-tensors 格式部署，与 BF16 的 KL 为 0.0231，94.6% 位置选出相同的最可能 token，拒绝行为未在该格式重测，测试在两块 GPU 上进行。 Abliterant 限定该模型仅用于可解释性、红队测试和拒绝行为鲁棒性评估等研究用途；若无独立审核层，不用于面向公众或终端用户的部署。模型采用 Apache-2.0 许可，配置上下文 262,144 tokens，评测使用 20,480-token 服务上限。
AI 根据报道生成 · 31 分钟前更新
事件进展
4 个进展
- 11月6日 20:05 · 1 篇报道发布Qwen3.5-9B去对齐AWQ量化版Hugging Face · 新模型：abliterated：Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化版
- 11月6日 20:03 · 1 篇报道发布Qwen3.5-9B-RANA去对齐MLX量化版Hugging Face · 新模型：abliterated：Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 MLX 量化版
- 11月6日 16:47 · 1 篇报道发布Qwen3.5-9B-RANA-abliterated的GGUF量化版Hugging Face · 新模型：abliterated：Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 GGUF 量化版
- 11月6日 06:12 · 1 篇报道Abliterant 发布 Qwen3.5-9B RANA 去对齐模型Hugging Face · 新模型：abliterated：Abliterant 发布 Qwen3.5-9B-RANA-abliterated 无对齐权重
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face · 新模型：abliterated精选Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化版
Abliterant 发布了 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化权重，体积 11.7 GB，BF16 版为 19.3 GB，用 vLLM 以 compressed-tensors 格式部署。该版本与 BF16 参考的 KL 为 0.0231，94.6% 位置选出相同的最可能 token；在 BF16 版上对比 bowmanslayer/Qwen3.5-9B-Uncensored，有害请求的有效回答率为 67.4% 对 52.5%，能力损失 0.79 对 3.31 pp。作者说明这是量化而非额外训练，拒绝行为未在该格式上重新测量，定位为拒绝行为研究用途。
- Hugging Face · 新模型：abliterated精选Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 MLX 量化版
Abliterant 发布了 Qwen3.5-9B-RANA-abliterated 的 MLX 版本，面向 Apple Silicon，提供 4、5、6、8-bit 量化与 BF16 文件夹，并附带 MTP 草稿模型用于投机解码，各档位均包含视觉能力。量化采用 AWQ 校准，8-bit 相对 BF16 的 KL 为 0.0009，4-bit 为 0.0539。与 bowmanslayer/Qwen3.5-9B-Uncensored 相比，BF16 版本对有害请求的有用回答率为 67.4% 对 52.5%，能力损失为 0.79 对 3.31 pp。
- Hugging Face · 新模型：abliterated精选Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 GGUF 量化版
Abliterant 放出 Qwen3.5-9B-RANA-abliterated 的 GGUF 量化版，共 15 种量化（Q8_0 9.53 GB 到 IQ2_M 3.61 GB）加 BF16 参考，面向 llama.cpp 使用。Q8_0 相对 BF16 的 KLD 为 0.0032，Q4_K_M 为 0.0184，IQ2_M 升至 0.216。在 BF16 版本上对比 bowmanslayer/Qwen3.5-9B-Uncensored，有害请求的有效回答率为 67.4% 对 52.5%，能力损失 0.79 对 3.31 pp。
- Hugging Face · 新模型：abliterated精选Abliterant 发布 Qwen3.5-9B-RANA-abliterated 无对齐权重
Abliterant 发布 Qwen3.5-9B-RANA-abliterated，用 RANA（Reasoning-Anchored, Norm-preserving Ablation）去掉 Qwen/Qwen3.5-9B 的拒绝行为，提供 BF16 参考权重及 FP8、GGUF、MLX、AWQ 等格式。与 bowmanslayer/Qwen3.5-9B-Uncensored 相比，有害请求的有用回答率为 67.4% 对 52.5%，平均能力损失 0.79 pp 对 3.31 pp，与基座的 KL 距离 0.109 对 0.294；硬拒绝率从基座的 55.8% 降到 0.0–0.1%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。