跳到正文
Hugging Face · 新模型:abliterated·· 13 天前精选AI 评分52

Qwen3.8-Flash-Next 去拒绝向量 GGUF 套件发布并附 RTX 3090 实测

Hanselor/Qwen-Flash-abliterated-Strata-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Hanselor/Qwen-Flash-abliterated-Strata-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hanselor 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 套件,打包 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四种 GSQ-RCO 量化权重,并新增一个 480 KB 的拒绝方向文件,由 Strata 在运行时投影去除拒绝行为,权重本身保持原样。单张 RTX 3090 实测显示该向量开启后 10 条提示拒绝从 9-10 降到 0,IQ3_S 的 KL 到 BF16 为 0.0738,IQ2_XS 在 131K 提示下解码约 80 tokens/s;agent 编码任务 5/5 通过。作者提醒移除拒绝会移除安全行为,输出由使用者自行负责。

推荐理由

作者给出了拒绝率、KL 与解码速度的实测数据,可以据此判断运行时去拒绝方向对量化模型的实际改动有多大。

来源:Hugging Face · 新模型:abliterated · huggingface.co