Reddit · r/LocalLLaMA· /u/ILoveDangerousStuff2·· 3 小时前AI 评分20
llama.cpp 运行 Qwen 3.8 flash next Q4 并发表现异常
Llama.cpp with Qwen 3.8 flash next Q4 performing wierd with concurrency
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ILoveDangerousStuff2
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xh7v4e/llamacpp_with_qwen_38_flash_next_q4_performing/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
用户在 8x P100 PCIe 工作站上用自编译 llama.cpp 运行 unsloth 的 Qwen 3.8 flash next Q4，单并发生成约 20-24 tps，启用 MTP 可达 33 tps。16 slots 时总吞吐最高约 80 tps，20 slots、13 并发时达 91 tps，但不同 slot 数下性能波动剧烈且不可预测，怀疑存在优化空间。
来源：Reddit · r/LocalLLaMA · reddit.com