跳到正文
Hugging Face · 新模型:abliterated·· 23 小时前精选AI 评分70

Inkling-2-Mini 去对齐 GGUF 版本发布,附 MXFP8 重打包与 8 GB 显存部署方案

gbuzhf/Inkling-2-Mini-UD-Q8_K_XL-MXFP8-Q8attn-abliterated-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/gbuzhf/Inkling-2-Mini-UD-Q8_K_XL-MXFP8-Q8attn-abliterated-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

gbuzhf 在 Hugging Face 发布 Inkling-2-Mini-UD-Q8_K_XL 的 MXFP8 重打包 GGUF 及其 abliterated 去对齐变体,保持 Q8 级质量并适配 8 GB 显卡加 32 GB 内存。去对齐变体将第 4-23 层的 20 个注意力输出投影张量替换为 OpenUncensored 的拒绝方向消融编辑,公式为 W' = W - s Q Q^T W,其余字节与原文件完全相同。作者用 Xet chunk 比对做了供应链检查,确认除这 20 个张量外无隐藏 LoRA;发布方报告拒绝行为已移除且 MMLU 从 78.95% 升至 79.47%,编码与长 Agent 任务未测。

推荐理由

作者完整公开了方向消融的公式、逐层系数和供应链比对过程,读者可以核对无对齐变体到底改了哪些张量。

来源:Hugging Face · 新模型:abliterated · huggingface.co