作者自制 CUDA megakernel 让 Qwen3.8-27B 在单张 RTX 3090 上跑出 140 tok/s 代码生成速度

作者 /u/Adorable_Weakness_39 用 Claude Opus 5.5 编写 CUDA megakernel，在单张 RTX 3090 上加速 Qwen3.8-27B，比 llama.cpp（启用 MTP）快 1.4-1.9 倍：写代码 140 tok/s 对 73，带 4K token 文件上下文编码 95 tok/s 对 56，prefill 约 1,600 tok/s 对约 1,100。加速来自把整个投机解码周期放进一次 kernel launch，检查 4-5 个草稿 token 的成本约等于检查一个。