Hugging Face · 新模型:abliterated·· 18 天前精选AI 评分68
Mellum2.1-12B-A2.5B-Thinking 的 abliterated GGUF 版本发布,拒绝率从 43/44 降至 14/44
alexwkleung/Mellum2.1-12B-A2.5B-Thinking-Abliterated-GGUF
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/alexwkleung/Mellum2.1-12B-A2.5B-Thinking-Abliterated-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
alexwkleung 发布 JetBrains/Mellum2.1-12B-A2.5B-Thinking 的 abliterated GGUF 版本,用 Heretic 消融 662 个 tensor,拒绝率在 enable_thinking 为 false 时从 43/44 降至 14/44,GSM8K 89/100 无明显回归。作者还发现 Heretic 1.4 在 Transformers 5 的融合 MoE 模块上会静默跳过专家层,此构建将融合专家拆回独立 Linear 后再消融,提供 Q4_K_M 到 Q8_0 共四档量化文件与 sha256 校验值。
推荐理由
卡片给出消融修改的 tensor 清单和拒绝率前后对照,还包括 Heretic 在 MoE 融合模块上静默失败的具体坑与修复方法。
来源:Hugging Face · 新模型:abliterated · huggingface.co