Reddit 用户提出 VRAM 放 2-bit 副本、系统内存放残差的投机解码方案

Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。