Reddit · r/LocalLLaMA· /u/bodhi371·· 20 天前精选AI 评分71
Qwen3.8-27B 量化方案：12GB VRAM + 8GB RAM 跑出约 18 tok/sec
Qwen3.8-27B with just 12GB VRAM + 8GB RAM - ~18 tok/sec
来源与原文
Reddit · r/LocalLLaMA
作者：/u/bodhi371
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzha67/qwen3827b_with_just_12gb_vram_8gb_ram_18_toksec/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由
作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。
来源：Reddit · r/LocalLLaMA · reddit.com