LLM-Inference-Engine：在单张 24GB GPU 上从零手写 Qwen3-8B 推理引擎并逐层实测

作者开源了 LLM-Inference-Engine 项目，在单张 A10G 上从零构建 Qwen3-8B 推理引擎，容量较朴素服务提升 17.2 倍（0.33 到 5.70 req/s），p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测，约三分之一预测出错；核心发现是每个优化没有固定加速比，同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍，prefix cache 在唯一提示上无收益、对话中达 35 倍，并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。