自研 Qwen3.8-27B 推理引擎对比 llama.cpp：投机解码下贪心输出一致，3090 上提速 1.5-2x
Speculative decoding changed llama.cpp's greedy answer on 9 of 282 questions. My Qwen3.8-27B engine gives the same tokens at any draft count, and decodes 1.5-2x faster on a 3090
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Nice_Profession_9078
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xm0xaz/speculative_decoding_changed_llamacpps_greedy/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
作者发布基于 open-jet megakernel 的 Qwen3.8-27B 推理引擎 fork，实测发现 llama.cpp 从 4 改 7 个 MTP drafts 时 282 题中有 9 题贪心答案改变，而自研引擎在 0、4、7 drafts 下 token ids 完全一致。同一 3090、同一 unsloth UD-Q4_K_XL 模型下，100k 上下文解码 109 vs 54 tok/s，写代码 233 vs 111 tok/s，4 并发智能体 382 vs 137 tok/s；262k 全上下文可放进 24 GB 显存并以 66.6 tok/s 解码。作者还给出 5-bit K 缓存加 q8_0 ring 的方案，最新 2048 位置保持 q8_0 时 KL 与 q8_0 相当。
作者实测了投机解码对 llama.cpp 贪心输出的漂移并给出完整基准方法，数据可复现，适合想验证推理引擎一致性的读者。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。