Reddit · r/LocalLLaMA· /u/Happy_Guitar3521·· 5 天前AI 评分49
Reddit 用户提出 2-bit GPU + 残差放系统内存的投机解码方案，用于装不进显存的大模型
2-bit copy in VRAM + exact residual in system RAM as the verifier: speculative decoding for models that don't fit your GPU
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Happy_Guitar3521
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xc55z3/2bit_copy_in_vram_exact_residual_in_system_ram_as/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户分享一种投机解码思路：GPU 上保留模型 2-bit 副本负责起草 token，6-8 bit 残差权重留在系统内存由 CPU 校验，仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16（KL 约减半）；6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%；复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter（31B）每次校验多接受 25-30% token（5.23 对 4.20）。代码已开源。
来源：Reddit · r/LocalLLaMA · reddit.com