Reddit · r/LocalLLaMA· /u/stargate425·· 15 天前精选AI 评分66
Qwen3.8-27B 实现 bit-exact 投机解码：单卡 RTX PRO 6000 达 106 t/s
Bit-exact speculative decoding on Qwen3.8-27B: 106 t/s on one RTX PRO 6000
来源与原文
Reddit · r/LocalLLaMA
作者：/u/stargate425
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3sx3d/bitexact_speculative_decoding_on_qwen3827b_106_ts/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由
作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。
来源：Reddit · r/LocalLLaMA · reddit.com