RTX 5090 上六款推理引擎实测对比
先了解这件事
Reddit 用户 /u/fuzhongkai 在单块 RTX 5090 32 GB 上，对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六款推理引擎运行 Qwen3.8 27B 做了基准对比，覆盖解码吞吐、32K 长提示、四路并发、截图输入与四轮工具循环。结果显示 NInfer 凭投机解码吞吐最高（单请求 280.5 tok/s、四路并发 488 tok/s），llama.cpp 纯解码最快（84.2 tok/s）。 测试统一使用 greedy decoding、关闭 thinking、40,960 token 上下文，但各引擎使用了不同的量化 checkpoint、drafter 和 KV 格式。发布者称约 5% 以内的差异应视为不可靠结论，报告也未评估不同量化间的质量等价性；velox 在 JSON-schema 检查中三次全部失败。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA单卡 RTX 5090 实测 Qwen3.8 27B：llama.cpp、vLLM、SGLang 等六个推理引擎横向对比
/u/fuzhongkai 在单块 RTX 5090 32 GB 上对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 跑了 Qwen3.8 27B 基准，覆盖解码吞吐、32K 长提示、四路并发、截图输入与四轮工具循环，均用 greedy decoding、关闭 thinking、40,960 token 上下文。NInfer 投机解码吞吐最高（单请求 280.5 tok/s、四路并发 488 tok/s），llama.cpp 纯解码最快（84.2 tok/s）；各引擎使用了不同量化和 drafter 配置，4% 以内的差异视为不可靠结论。velox 在 JSON-schema 检查中三次全失败，报告未评估量化间质量等价性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。