Reddit · r/LocalLLaMA· /u/bodhi371·· 18 天前AI 评分45
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S) 在 12GB VRAM 上实现 20-30 tok/sec 解码与最高 90k tok/sec 预填充
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): ~20-30 tok/sec decode & 300-90k tok/sec prefill on 12GB VRAM + 32GB RAM + NVME
来源与原文
Reddit · r/LocalLLaMA
作者：/u/bodhi371
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x1mzsg/qwen38flashnextgsqrco_iq3_s_2030_toksec_decode/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在 Strata 自定义 fork 上，以 IQ3_S 量化将 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated 跑在 12GB VRAM + 32GB RAM + NVMe 配置上，实现 20-30 tok/sec 解码（Q2 量化可达 39-45 tok/s）和 300 至约 9 万 tok/sec 预填充，上下文达 131k。该 fork 包含大量实验性架构改动，可能不稳定。作者称其部分表现接近本地版 Opus，算力成本低于 2k。
来源：Reddit · r/LocalLLaMA · reddit.com