GitHub · 灵魂体仓库·· 20 天前AI 评分20
Lianging17/LLM-Inference-Insights：LLM 推理技术笔记仓库
Lianging17/LLM-Inference-Insights
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Lianging17/LLM-Inference-Insights
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 LLM-Inference-Insights 仓库是一个大语言模型推理学习笔记项目，规划了从深度学习表征、C++ 与 CUDA 编程基础，到 Transformer 推理流水线（Prefill 与 Decode 阶段瓶颈）、vLLM 源码剖析（Scheduler 与 PagedAttention）等章节。作者还列出待深入的方向，包括 Agent Eval、LLM-as-Judge、数据并行/张量并行/流水线并行等并行策略、MFU 计算，以及 Flash Attention 3 相比 Flash Attention 2 的改进。
来源：GitHub · 灵魂体仓库 · github.com