Reddit · r/LocalLLaMA· /u/exaknight21·· 17 天前AI 评分16
8x T4 的 ESC4000 G3 上如何最快部署 Qwen3.5-9B 供 10-15 用户并发
I have an ESC4000 G3 with 8x T4s in it - what is the fastest way I can deploy Qwen3.5-9B for about 10-15 users concurrently: currently using llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/exaknight21
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x252xy/i_have_an_esc4000_g3_with_8x_t4s_in_it_what_is/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位用户在 8x NVIDIA T4 的 Asus ESC4000 G3（128GB DDR4 RAM）上寻求比 llama.cpp 更快的 Qwen3.5-9B 部署方案，目标是服务约 10-15 个并发用户。目前 8 个实例运行 Qwen3.5-9B-Q5_K_XL，共 44 个 slot，每 slot 持续生成 25-40 tps，prefill 约 1400 tps。T4 不支持最新 fp8 emulation，用户希望用 vLLM 运行 Qwen3.5-9B-AWQ-INT8 但不愿额外花钱。
来源：Reddit · r/LocalLLaMA · reddit.com