Hugging Face · 新模型:abliterated·· 41 分钟前精选AI 评分58
Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化版
abliterant/Qwen3.5-9B-RANA-abliterated-AWQ
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/abliterant/Qwen3.5-9B-RANA-abliterated-AWQ
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Abliterant 发布了 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化权重,体积 11.7 GB,BF16 版为 19.3 GB,用 vLLM 以 compressed-tensors 格式部署。该版本与 BF16 参考的 KL 为 0.0231,94.6% 位置选出相同的最可能 token;在 BF16 版上对比 bowmanslayer/Qwen3.5-9B-Uncensored,有害请求的有效回答率为 67.4% 对 52.5%,能力损失 0.79 对 3.31 pp。作者说明这是量化而非额外训练,拒绝行为未在该格式上重新测量,定位为拒绝行为研究用途。
推荐理由
原文给出了 AWQ 量化版与 BF16 的 KL 和 top-1 一致率,以及与另一公开去对齐版本的拒绝率对照,可据此判断量化后偏离多少。
来源:Hugging Face · 新模型:abliterated · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。