跳到正文
Hugging Face · 新模型:abliterated·· 9 天前精选AI 评分60

Qwen2.5-32B-Instruct abliterated 去对齐版本发布

varun-balani/Qwen2.5-32B-Instruct-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/varun-balani/Qwen2.5-32B-Instruct-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

varun-balani 在 Hugging Face 发布 Qwen2.5-32B-Instruct 的 abliterated 版本,用 Heretic 的 ARA 修饰器去除拒绝方向。mlabonne/harmful_behaviors 拒绝率从 98/100 降到 10/100,相对基座模型 KL 散度 0.22;该结果从 24 次试验的优化中选出,提供 bf16 全量权重及 Q4_K_M(约 20 GB)和 Q8_0(约 35 GB)GGUF 量化版本,Q4_K_M 可在约 36 GB 内存的本地环境用 Ollama、LM Studio 或 llama.cpp 运行。

推荐理由

原文给出拒绝率前后对比和 KL 散度数据,可据此判断这个去对齐版本的行为漂移程度。

来源:Hugging Face · 新模型:abliterated · huggingface.co