6 张 RTX 3090 + vLLM 跑 Qwen3.8-Flash-Next：7 用户 262k 上下文，附上游修复分支
Qwen3.8-Flash-Next on six 3090s with vLLM: 7 users at 262k, 6.5k t/s prefill, 57 t/s decode solo / 206 t/s aggregate with all 7 generating. Fixes for the upstream included.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/flynth92
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3wjzf/qwen38flashnext_on_six_3090s_with_vllm_7_users_at/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
作者在无 NVLink、四张卡走 Thunderbolt 的消费级 PC 上用 6×3090 通过 vLLM 跑 Qwen3.8-Flash-Next（GPTQ-INT4），262k 上下文支撑 7 用户，单会话 prefill 6574 t/s、decode 57.6 t/s，7 用户合计 206 t/s，并发布含修复的 vLLM 分支。关键做法包括把 102 GB n-gram（PLE）表放到 SSD 节省 108 GB 内存、用 int8 KV 绕过 fp8 KV 在 Ampere 上的崩溃；对比显示 vLLM 强在 prefill、单用户速度和并发席位，llama.cpp 的 grouped decode 在多用户下单路速度更平稳，代码由 LLM 编写并经实测验证。
作者用同一台 6×3090 消费级 PC 给出 vLLM 与 llama.cpp 在各并发档位下的实测数据，并附修复分支和部署细节，结论可直接复用。
来源：Reddit · r/LocalLLaMA · reddit.com