vllm-project 推出 SLO 感知的 LLM 推理基准测试平台 GuideLLM

vllm-project 的 GuideLLM 是面向真实负载的 LLM 推理基准测试与评估平台，模拟 OpenAI 兼容和 vLLM 原生服务器端到端交互，采集 TTFT、ITL 等完整延迟分布以支持 SLO 驱动评估。支持文本、图像、音频、视频多模态的真实与合成数据集，提供 synchronous、concurrent、constant、poisson、sweep 等流量模式，新增多轮对话、tool calling、Mooncake/WEKA/OTEL trace 回放等能力，输出 、csv、html 等报告，采用 Apache License 2.0，可通过 pip install guidellm 或容器镜像使用。