跳到正文
我的
Hugging Face · 新模型:abliterated·· 41 分钟前精选AI 评分58

Abliterant 发布 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化版

abliterant/Qwen3.5-9B-RANA-abliterated-AWQ

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/abliterant/Qwen3.5-9B-RANA-abliterated-AWQ

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Abliterant 发布了 Qwen3.5-9B-RANA-abliterated 的 AWQ 4-bit 量化权重,体积 11.7 GB,BF16 版为 19.3 GB,用 vLLM 以 compressed-tensors 格式部署。该版本与 BF16 参考的 KL 为 0.0231,94.6% 位置选出相同的最可能 token;在 BF16 版上对比 bowmanslayer/Qwen3.5-9B-Uncensored,有害请求的有效回答率为 67.4% 对 52.5%,能力损失 0.79 对 3.31 pp。作者说明这是量化而非额外训练,拒绝行为未在该格式上重新测量,定位为拒绝行为研究用途。

推荐理由

原文给出了 AWQ 量化版与 BF16 的 KL 和 top-1 一致率,以及与另一公开去对齐版本的拒绝率对照,可据此判断量化后偏离多少。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。