Hugging Face · 新模型：abliterated·· 6 天前精选AI 评分68
Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布
Cheurteen/Ternary-Bonsai-2-27B-Abliterated-PTQ1_0-MTP-Q4_0-GGUF
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Cheurteen/Ternary-Bonsai-2-27B-Abliterated-PTQ1_0-MTP-Q4_0-GGUF
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF：把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式，并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上，带草稿头的文件达 69.3 tok/s，无头版本 50.8 tok/s；困惑度 8.2894 优于 2.125-bit 版的 8.4593，MMLU 76.07%、HumanEval pass@1 75.00%，重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由
作者不仅重打包了消融权重，还给出困惑度、tok/s 和 MMLU 等前后对照数据，可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
来源：Hugging Face · 新模型：abliterated · huggingface.co