Reddit · r/LocalLLaMA· /u/fuzhongkai·· 2 小时前AI 评分56
单卡 RTX 5090 实测 Qwen3.8 27B：llama.cpp、vLLM、SGLang 等六个推理引擎横向对比
Qwen3.8 27B on one RTX 5090: six inference engines benchmarked with and without DFlash2
来源与原文
Reddit · r/LocalLLaMA
作者：/u/fuzhongkai
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgkzb9/qwen38_27b_on_one_rtx_5090_six_inference_engines/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/fuzhongkai 在单块 RTX 5090 32 GB 上对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 跑了 Qwen3.8 27B 基准，覆盖解码吞吐、32K 长提示、四路并发、截图输入与四轮工具循环，均用 greedy decoding、关闭 thinking、40,960 token 上下文。NInfer 投机解码吞吐最高（单请求 280.5 tok/s、四路并发 488 tok/s），llama.cpp 纯解码最快（84.2 tok/s）；各引擎使用了不同量化和 drafter 配置，4% 以内的差异视为不可靠结论。velox 在 JSON-schema 检查中三次全失败，报告未评估量化间质量等价性。
来源：Reddit · r/LocalLLaMA · reddit.com