Reddit · r/LocalLLaMA· /u/bodhi371·· 10 天前AI 评分44
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S) 在 12GB VRAM 上实现 131k 上下文 40-50 tok/sec 解码
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): ~40-50 tok/sec decode & 1300-1500 tok/sec prefill at 131k ctx on 12GB VRAM + 32GB RAM + NVME
来源与原文
Reddit · r/LocalLLaMA
作者：/u/bodhi371
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7sbdc/qwen38flashnextgsqrco_iq3_s_4050_toksec_decode/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在 12GB VRAM + 32GB RAM + NVME 上以 IQ3_S 量化跑通 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated，在 131k 上下文（44k thinking budget）下达到 40-50 tok/sec 解码和 1300-1500 tok/sec prefill。所用 Strata 自定义 fork 含大量实验性架构改动，作者称部分体验接近本地版 Opus。
来源：Reddit · r/LocalLLaMA · reddit.com