作者为 Ternary Bonsai 2 27B 重训 DFlash 2 drafter，L4 上提速 2.2x
I re-trained the DFlash 2 drafter for Ternary Bonsai 2 27B: 2.2x on an L4 (3.2x on code edits with ngram lookup), 1.5x on a Mac, 1.2x in Chrome
来源与原文
Reddit · r/LocalLLaMA
作者：/u/naklitechie
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzqyfl/i_retrained_the_dflash_2_drafter_for_ternary/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
作者为 PrismML 的 Ternary Bonsai 2 27B 重训了原针对 bf16 Qwen3.8-27B 的 z-lab DFlash 2 drafter，用 1.5M tokens 的 Bonsai 2 贪心输出微调，并在 Hugging Face 放出 safetensors 和 Q4_K_M GGUF 权重。单张 L4 贪心解码下 GSM8K 2.17x、MBPP 2.17x、MATH-500 2.20x、MT-Bench 1.39x，代码编辑叠加 ngram-mod 后达 3.15x；M4 Pro 上代码补全 1.5x；浏览器内 LocalMind 的 WGSL 移植在代码上 1.18x 且输出一致。作者注明数据来自一台 L4 和一台 M4 Pro，并给出三套运行时的配置文档。
作者重训了投机解码 drafter 并给出三套运行环境的实测加速数据，本地部署 Bonsai 2 的读者可以直接复用配置。
来源：Reddit · r/LocalLLaMA · reddit.com