Reddit · r/LocalLLaMA· /u/BleynSpecnaz·· 13 小时前AI 评分42
8 GB 显存 + 32 GB 内存即可运行 Qwen 3.8 Flash Next,PP 最高达 900 t/s、TG 达 30 t/s
Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!
来源与原文
Reddit · r/LocalLLaMA
作者:/u/BleynSpecnaz
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xft2ae/have_8_gb_of_vram_and_32_gb_of_ram_you_can_run/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户用 Strata 在 8 GB 显存(RTX 5060 Laptop)加 32 GB 内存的笔记本上运行 Qwen 3.8 Flash Next Q2,实测 PP 最高 930-1,040 t/s、TG 30-45 t/s(131K 上下文),快于其 Qwen 3.6 35B A3B(PP 630-680 t/s、TG 27-35 t/s)。文中给出 --mmap-experts、--kv-resident 20480、--vram-reserve-mib 等关键参数调优方法,并建议 131K 以上上下文时用 --conversation-cache 替代 --parallel 以避免 OOM。
来源:Reddit · r/LocalLLaMA · reddit.com