Hugging Face · 新模型:abliterated·· 23 小时前精选AI 评分70
Inkling-2-Mini 去对齐 GGUF 版本发布,附 MXFP8 重打包与 8 GB 显存部署方案
gbuzhf/Inkling-2-Mini-UD-Q8_K_XL-MXFP8-Q8attn-abliterated-GGUF
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/gbuzhf/Inkling-2-Mini-UD-Q8_K_XL-MXFP8-Q8attn-abliterated-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
gbuzhf 在 Hugging Face 发布 Inkling-2-Mini-UD-Q8_K_XL 的 MXFP8 重打包 GGUF 及其 abliterated 去对齐变体,保持 Q8 级质量并适配 8 GB 显卡加 32 GB 内存。去对齐变体将第 4-23 层的 20 个注意力输出投影张量替换为 OpenUncensored 的拒绝方向消融编辑,公式为 W' = W - s Q Q^T W,其余字节与原文件完全相同。作者用 Xet chunk 比对做了供应链检查,确认除这 20 个张量外无隐藏 LoRA;发布方报告拒绝行为已移除且 MMLU 从 78.95% 升至 79.47%,编码与长 Agent 任务未测。
推荐理由
作者完整公开了方向消融的公式、逐层系数和供应链比对过程,读者可以核对无对齐变体到底改了哪些张量。
来源:Hugging Face · 新模型:abliterated · huggingface.co