跳到正文
Hugging Face · 新模型:abliterated·· 15 天前精选AI 评分57

Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包发布

gdeyoung/Huihui-Qwen3.8-Flash-Next-abliterated-EXL3-3.05bpw-integer

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/gdeyoung/Huihui-Qwen3.8-Flash-Next-abliterated-EXL3-3.05bpw-integer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包,LM 层已消融,n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw,大小 84 GB,可在单块 GB10(128GB 统一内存)上以 262,144 token 上下文运行,实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0,安全过滤显著减弱,输出责任由使用者承担。

推荐理由

作者给出消融层的说明、拒绝率实测与完整量化配方,读者可据此复现这个 DGX Spark 上的去对齐部署方案。

来源:Hugging Face · 新模型:abliterated · huggingface.co