热点事件观察中

开发者开源自研LLM推理引擎并实测对比vLLM

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

开发者 Shivanim042003 在 GitHub 开源了 llm-inference 推理服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集，采用 MIT 协议。作者在 T4 GPU 上对 Qwen2.5-0.5B-Instruct 实测：continuous-32 配置下 SLO 容量为 6 req/s，约为 vLLM（12 req/s）的 50%；改用静态 KV 槽位加 CUDA graphs 后升至 10 req/s，达 vLLM 下界的 83%。仓库还附逐 token 正确性测试、fp16/int8/nf4 精度对比与复现脚本。需注意作者明确说明该结果仅基于一个小模型和一种 GPU，不适用于更大的模型或其他 GPU。

AI 根据报道生成 · 1 天前更新

最新进展10月26日 07:25

Shivanim042003 开源 llm-inference 推理服务栈并实测对比 vLLM

报道时间线

沿着报道，了解事件的不同侧面。

10月26日

07:25
GitHub · 去对齐工具与仓库精选
Shivanim042003 开源 llm-inference 推理服务栈并实测对比 vLLM
作者开源 llm-inference，一个面向可测量的 LLM 服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集。在 T4 上对 Qwen/Qwen2.5-0.5B-Instruct 实测，continuous-32 达 6 req/s SLO 容量，为 vLLM（12 req/s）的 50%，静态 KV 槽位加 CUDA graphs 后升至 10 req/s 达 vLLM 下界 83%；附逐 token 正确性测试、精度（fp16/int8/nf4）对比与复现脚本，仓库 MIT 协议。

本事件热度走势

可比范围当前: 4
可比范围峰值: 1010月26日 08:00
近 24 小时变化: -51%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。