Buland-Choudhary 开源 PyTorch 从零实现的 LLM 推理引擎
热点事件观察中
Buland-Choudhary 开源 PyTorch 从零实现的 LLM 推理引擎
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Buland-Choudhary 在 GitHub 开源了用 PyTorch 从零编写的 LLM 推理与服务引擎 llm-serving-engine，包含 paged KV cache、continuous batching、chunked prefill、prefix caching、speculative decoding、权重量化及 OpenAI 兼容的流式 API。项目目前处于进行中（Work in progress）状态。 该引擎目前可运行 SmolLM2 等 Llama 系与 Qwen3 checkpoint，输出已与 Hugging Face transformers 逐 token 对齐验证；基准测试结果尚未产出，仓库说明称运行基准后才会公布结果。
AI 根据报道生成 · 11 小时前更新
最新进展11月4日 11:29
PyTorch 从零实现的 LLM 推理服务引擎 llm-serving-engine报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- GitHub · 灵魂体仓库PyTorch 从零实现的 LLM 推理服务引擎 llm-serving-engine
Buland-Choudhary 在 GitHub 开源了一个用 PyTorch 从零编写的 LLM 推理与服务引擎 llm-serving-engine，包含 paged KV cache、continuous batching、chunked prefill、prefix caching、speculative decoding、权重量化及 OpenAI 兼容的流式 API。目前可运行 SmolLM2 等 Llama 系与 Qwen3 checkpoint，输出已与 Hugging Face transformers 逐 token 对齐验证。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 611月5日 04:00
- 近 24 小时变化
- –
02468
04:0006:0008:0010:0012:0014:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。