跳到正文
Hugging Face · 新模型:abliterated·· 14 天前精选AI 评分60

Austriani 发布 Qwen3.8-4B-Distill ARA 去对齐版 GGUF 量化

Austriani/Qwen3.8-4B-Distill-ARA-Abliterated-RP-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Austriani/Qwen3.8-4B-Distill-ARA-Abliterated-RP-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Austriani 在 Hugging Face 发布 Qwen3.8-4B-Distill 的 ARA 去对齐版本 GGUF 量化权重,采用 Arbitrary-Rank Ablation(ARA)方法。第 15/40 次试验达到 3/100 拒绝率和 0.0586 KL 散度,并公开了 ARA 参数;提供从 IQ1_S 到 Q8_0 的完整量化档位,兼容 llama.cpp、LM Studio、KoboldCPP 和 Ollama,基于 Apache 2.0 许可。

推荐理由

作者用 ARA 方法给出消融后的拒绝率和 KL 散度数据,读者可以据此判断这个 4B 去对齐版本损失了多少能力。

来源:Hugging Face · 新模型:abliterated · huggingface.co