mini-infer-engine：从零实现的 LLM 推理引擎，在 CPU 上复现 vLLM 核心机制

作者开源了从零编写的 LLM 推理引擎 mini-infer-engine，基于 Qwen2.5-0.5B-Instruct 在纯 CPU 笔记本上完整实现四个阶段并实测。连续批处理把 8 请求工作负载吞吐从 11.55 tok/s 提到 35.61 tok/s（3.08x）；Paged KV-cache 因未写定制 fused kernel 且测试提示长度相近，吞吐降至 13.94 tok/s、内存节省 0%，作者如实记录这是工作负载相关的取舍；优先级调度器通过抢占让 HIGH 请求实现 0ms 等待、98ms 首 token 延迟，被抢占请求总耗时从 8.06s 增至 10.49s。