mini-infer：从零用 PyTorch 编写的轻量 LLM 推理引擎

开源项目 mini-infer 是一个用 PyTorch 从零编写的轻量 LLM 推理引擎，用于服务 Qwen2.5 模型，旨在理解 vLLM 等推理服务器的工作原理而非替代它们。项目逐一实现了 KV cache、Continuous batching、Paged KV cache、Speculative decoding 和 int8 weights 等推理优化，每步附 benchmark。测试环境为 RTX 5050 8 GB、Qwen2.5-1.5B、bf16，可在 Linux 或 WSL2 上以 CUDA 12.8+ 运行。