GitHub · 去对齐工具与仓库·· 18 小时前AI 评分52
vLLM 在两张 Tesla T4 上的服务基准测试：Qwen2.5-0.5B 批处理吞吐提升 35.5 倍
lyftium/vllm-serving-benchmark-t4
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lyftium/vllm-serving-benchmark-t4
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在两张 Tesla T4 上用 vLLM 0.6.6.post1 跑了一轮服务基准测试，Qwen2.5-0.5B fp16 在连续批处理下把生成 tok/s 从 max_num_seqs 为 1 时的 144.5 提升到 128 时的 5126.4，约 35.5 倍。1.5B 模型上 AWQ 在单序列时约为 fp16 的 1.61 倍，但在 128 序列时降到 0.50 倍，且小探针集上的精确匹配下降。两张 GPU 的 TP=2 在 128 序列下只有 TP=1 的 0.86 倍，作者认为 PCIe all-reduce 对这个小模型不划算；每个配置只跑一次，结果文件为 results.json 与 benchmark_results.csv。
来源：GitHub · 去对齐工具与仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。