Hugging Face · 新模型：abliterated·· 7 天前精选AI 评分54
Ternary-Bonsai-2-27B 无对齐 GGUF 发布，MTP 头重量化后可跑进 8GB 显存
Cheurteen/Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Cheurteen/Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF，在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0（430.41 MiB）重量化为 Q4_0（227.91 MiB），使组合能在 8GB 显卡上运行，实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致，仅 blk.64.* 不同；因 MTP 头只是草稿、输出由主模型验证，困惑度 8.4593 与无头版本 8.4557 在测量误差内，200 个贪心 token 零分歧。
推荐理由
作者给出逐字节校验和 RTX 3070 8GB 实测数据，说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
来源：Hugging Face · 新模型：abliterated · huggingface.co