GitHub · 灵魂体仓库·· 18 天前精选AI 评分66
llm-serving-bench：在相同硬件与显存预算下横向测试 LLM 推理引擎的开源基准
Nirmitdagli/llm-serving-bench
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Nirmitdagli/llm-serving-bench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Nirmitdagli 发布开源仓库 llm-serving-bench，用可重复的测试框架在相同硬件、模型、提示词和显存预算下对比 LLM 推理引擎。指标覆盖 TTFT、TPOT、端到端延迟、总吞吐和 GPU 峰值显存，支持 vLLM、SGLang 和 TensorRT-LLM，以及 fp16 与 AWQ int4 量化模型。方法上采用 1/4/16/64 并发的闭环压测，固定输出 128 token、输入裁剪到 512 token、随机提示词禁用前缀缓存，并用 mock 服务器和 pytest 做无 GPU 测试。
推荐理由
README 交代了固定输入输出长度、禁用前缀缓存等公平性设置，读者可据此判断各推理引擎跑分结果是否可比。
来源：GitHub · 灵魂体仓库 · github.com