vLLM 双卡 T4 服务基准测试发布
先了解这件事
作者 lyftium 在两张 Tesla T4 上用 vLLM 0.6.6.post1 跑了一轮服务基准测试并公开协议与结果。Qwen2.5-0.5B fp16 在连续批处理下，生成 tok/s 从 max_num_seqs 为 1 时的 144.5 升至 128 时的 5126.4，约 35.5 倍。 1.5B 模型上 AWQ 在单序列时约为 fp16 的 1.61 倍，但在 128 序列时降到 0.50 倍，且小探针集上的精确匹配下降。两张 GPU 的 TP=2 在 128 序列下只有 TP=1 的 0.86 倍，作者认为 PCIe all-reduce 对这个小模型不划算。 作者称每个配置只跑一次，结果不是重复试验或集群容量数字，也不宜外推到更大的视觉语言模型、客户集群或多节点 SLO；仓库以 MIT 许可发布测量产物和文档，下载的权重仍适用上游模型许可。
AI 根据报道生成 · 17 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库vLLM 在两张 Tesla T4 上的服务基准测试：Qwen2.5-0.5B 批处理吞吐提升 35.5 倍
作者在两张 Tesla T4 上用 vLLM 0.6.6.post1 跑了一轮服务基准测试，Qwen2.5-0.5B fp16 在连续批处理下把生成 tok/s 从 max_num_seqs 为 1 时的 144.5 提升到 128 时的 5126.4，约 35.5 倍。1.5B 模型上 AWQ 在单序列时约为 fp16 的 1.61 倍，但在 128 序列时降到 0.50 倍，且小探针集上的精确匹配下降。两张 GPU 的 TP=2 在 128 序列下只有 TP=1 的 0.86 倍，作者认为 PCIe all-reduce 对这个小模型不划算；每个配置只跑一次，结果文件为 results.json 与 benchmark_results.csv。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月7日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。