Reddit · r/LocalLLaMA· /u/OhGeeLIVE·· 6 天前精选AI 评分65
Geezuz kernel 让 Qwen3.8-27B 在双 RTX 3090 上跑到 190 tok/s
Geezuz kernel: Qwen3.8-27B at 190 tok/s (620~ tok/s at 8 requests) on two 3090s
来源与原文
Reddit · r/LocalLLaMA
作者：/u/OhGeeLIVE
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xaslfk/geezuz_kernel_qwen3827b_at_190_toks_620_toks_at_8/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由
作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
来源：Reddit · r/LocalLLaMA · reddit.com