Qwen3.8-Flash-Next 无 NVLink 六卡部署补丁发布,250k 上下文 prefill 提速 8-10 倍
Qwen3.8-Flash-Next on 6x3090 / 6x4090 without NVLink: prefill 8-10x faster and long-context decode 2-3x faster than stock llama.cpp, binaries included
来源与原文
Reddit · r/LocalLLaMA
作者:/u/flynth92
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x023z4/qwen38flashnext_on_6x3090_6x4090_without_nvlink/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu,在六张 3090 纯 PCIe(无 NVLink、无 P2P)上跑 Qwen3.8-Flash-Next,250k 上下文 prefill 从 263 提到 2111 t/s(8 倍),六张 4090 上为 10 倍;单会话 250k decode 提速 2.3-3.3 倍,五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8,提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像,通过环境变量开启;附 n-gram 推测解码,代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试,代码经 LLM 编写并以实测验证,未向上游提 PR。
作者给出同机同模型的上下游对比数据和适用边界,读者可判断自己的 PCIe 多卡长上下文场景是否值得换用这个分支。
来源:Reddit · r/LocalLLaMA · reddit.com