BrendanJamesLynskey 开源 llm-inference-explained 交互式大模型推理教程

作者在 GitHub 开源了 llm-inference-explained，一个图形化、可交互的大模型推理服务教程网站，14 章覆盖生成循环、KV cache、roofline、batching、PagedAttention、FlashAttention、投机解码、量化、并行、服务指标与分离式 prefill/decode，并附带可在浏览器运行的模拟器。每个交互都在浏览器运行经过测试的代码，成本模型移植自 Disaggregated_Inference_Sim，单元测试逐位校验缓存与全量重算的 logits 一致，章节引用的数字均由测试重新计算，在线地址为 llm-inference-explained.vercel.app，采用 MIT 许可证。