开源 OpenBonsai：将 BF16 模型压缩为约 2 GB 三值 GGUF
先了解这件事
Reddit 用户开源了 Apache-2.0 协议的 OpenBonsai 框架，用于训练后三值量化，可将自有 BF16 微调模型压缩为兼容 Prism PTQ1_0 格式的 GGUF。测试中 Qwen3.5-9B 从约 18 GB 压缩到 1.997 GB，Qwen3-8B 压缩到 1.8 GB。其流水线结合 Signed Hadamard 旋转、Sequential GPTQ、FP16 组 scale 及模型自生成推理轨迹的校准与 scale 蒸馏。 框架目前有限制：压缩需 32 GB 显存 GPU（如 RTX 5090，约 5 小时），推理暂需 Prism 的 llama.cpp fork，上游 llama.cpp 与 WebGPU 均不支持。基准显示压缩后成绩仍低于 Prism 官方三值模型，蒸馏将开发集 NLL 从 3.48 降至 2.89。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选作者开源 OpenBonsai：把 BF16 模型和微调压缩成约 2 GB 三值 GGUF
作者开源了 OpenBonsai，一个 Apache-2.0 的训练后三值量化框架，可将自有 BF16 微调模型压缩为兼容 Prism PTQ1_0 格式的 GGUF。流水线结合 Signed Hadamard 旋转、Sequential GPTQ、FP16 组 scale、模型自生成推理轨迹校准与 scale 蒸馏；Qwen3.5-9B 从约 18 GB 压缩到 1.997 GB，Qwen3-8B 压缩到 1.8 GB，压缩需 RTX 5090（32 GB）约 5 小时。基准显示其成绩仍低于 Prism 官方三值模型，蒸馏将开发集 NLL 从 3.48 降至 2.89，推理暂需 Prism 的 llama.cpp fork，上游 llama.cpp 和 WebGPU 尚不支持。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。