Reddit · r/LocalLLaMA· /u/ButtercupLyn100·· 1 小时前精选AI 评分59
作者开源 OpenBonsai：把 BF16 模型和微调压缩成约 2 GB 三值 GGUF
I open-sourced OpenBonsai: compress your own BF16 models and fine-tunes into ~2 GB ternary GGUFs
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ButtercupLyn100
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xie29o/i_opensourced_openbonsai_compress_your_own_bf16/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源了 OpenBonsai，一个 Apache-2.0 的训练后三值量化框架，可将自有 BF16 微调模型压缩为兼容 Prism PTQ1_0 格式的 GGUF。流水线结合 Signed Hadamard 旋转、Sequential GPTQ、FP16 组 scale、模型自生成推理轨迹校准与 scale 蒸馏；Qwen3.5-9B 从约 18 GB 压缩到 1.997 GB，Qwen3-8B 压缩到 1.8 GB，压缩需 RTX 5090（32 GB）约 5 小时。基准显示其成绩仍低于 Prism 官方三值模型，蒸馏将开发集 NLL 从 3.48 降至 2.89，推理暂需 Prism 的 llama.cpp fork，上游 llama.cpp 和 WebGPU 尚不支持。
推荐理由
作者开源了完整的 BF16 转三值量化流水线并附失败实验与评测脚本，与 Prism 官方模型的质量差距也有明确数据可查。
来源：Reddit · r/LocalLLaMA · reddit.com