Reddit · r/LocalLLaMA· /u/Adorable_Weakness_39·· 16 天前精选AI 评分63
openjet CUDA megakernel 更新：Qwen3.8-27B 单卡 RTX 3090 跑出 140 tok/s，KL 散度 0.0009
UPDATE: Qwen 3.8 27B 140 tok/s on single RTX 3090 Megakernel: KL divergence 0.0009 vs llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Adorable_Weakness_39
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x37q7b/update_qwen_38_27b_140_toks_on_single_rtx_3090/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者更新其针对 Qwen3.8-27B 的 CUDA megakernel 引擎，单张 RTX 3090 上写代码速度 140 tok/s，对比 llama.cpp（含 MTP）的 73 tok/s 快约 1.9 倍。精度方面与 llama.cpp 的 KL 散度为 0.0009，1K 上下文困惑度 2.4274 对 2.4283，作者称无可测质量损失；投机解码为精确采样。仅支持 24 GB 以上 RTX 30/40/50 系列单卡，目前只在 3090 上调优，代码与基准见 https://github.com/L-Forster/open-jet/tree/master/megakernel。
推荐理由
作者补充了与 llama.cpp 的 KL 散度和困惑度对照数据，本地部署用户可据此评估这个 3090 单卡加速引擎的精度与速度取舍。
来源：Reddit · r/LocalLLaMA · reddit.com