Reddit · r/LocalLLaMA· /u/fuzhongkai·· 2 小时前精选AI 评分65
单张 RTX 5090 实测 Qwen3.8 27B：TensorSharp、llama.cpp、vLLM、SGLang、velox-inferer 与 NInfer 六引擎对比
Qwen3.8 27B on one RTX 5090: comparing six engines across TTFT, prefill, decode, concurrency and tool tasks
来源与原文
Reddit · r/LocalLLaMA
作者：/u/fuzhongkai
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xguu4c/qwen38_27b_on_one_rtx_5090_comparing_six_engines/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在单张 RTX 5090（32 GB VRAM）上对比 TensorSharp、llama.cpp、vLLM、SGLang、velox-inferer 和 NInfer 运行 Qwen3.8 27B 的表现，覆盖短问答、长文档检索、代码与文本生成、多轮对话、截图输入、JSON 输出、工具调用和并发请求。排名随任务变化：NInfer 在投机解码和四请求吞吐（488 tok/s）领先，llama.cpp 短提示 TTFT 最低（27 ms），TensorSharp 在四轮本地工具循环的投机模式下完成时间最短（0.748 s）；DFlash2 使单请求解码速度提升约 2.5–3.6 倍。
推荐理由
同一张 RTX 5090 上跑六个推理引擎的完整实测，覆盖 TTFT、并发和工具调用，并注明量化配置差异与约 4% 的运行间波动。
来源：Reddit · r/LocalLLaMA · reddit.com