iopsystems 开源 llm-perf：面向 OpenAI 兼容推理服务器的性能基准测试工具

iopsystems 在 GitHub 发布了 llm-perf，一个用于 OpenAI 兼容 LLM 推理服务器（如 llama-server、vLLM、TGI）的高性能基准测试工具。它支持 SSE 流式 TTFT 测量、并发与固定 QPS 负载模式、uniform 和 Poisson 到达分布，输出 TTFT、TPOT、ITL 及端到端延迟的 mean/P50/P90/P95/P99 分位数，并可按输入上下文大小（small 到 xxlarge）分层统计。