用户在 Reddit 求助 llama.cpp 并发吞吐随 slot 数剧烈波动问题
热点事件持续更新
用户在 Reddit 求助 llama.cpp 并发吞吐随 slot 数剧烈波动问题
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一名用户在 Reddit r/LocalLLaMA 发帖求助：在 8x P100 PCIe 工作站上用自编译 llama.cpp 运行 unsloth 的 Qwen 3.8 flash next Q4 时，单并发生成约 20-24 tps，启用 MTP 可达 33 tps；并发总吞吐随 slot 数变化剧烈且不可预测，20 slots、13 并发时最高约 91 tps，而邻近的 slot 配置下只有约 30 tps。 用户怀疑其中存在优化空间，但帖中未给出结论，也无其他来源解释原因。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 07:09
llama.cpp 运行 Qwen 3.8 flash next Q4 并发表现异常报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMAllama.cpp 运行 Qwen 3.8 flash next Q4 并发表现异常
用户在 8x P100 PCIe 工作站上用自编译 llama.cpp 运行 unsloth 的 Qwen 3.8 flash next Q4，单并发生成约 20-24 tps，启用 MTP 可达 33 tps。16 slots 时总吞吐最高约 80 tps，20 slots、13 并发时达 91 tps，但不同 slot 数下性能波动剧烈且不可预测，怀疑存在优化空间。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。