GitHub · 灵魂体仓库·· 9 天前AI 评分45
amacharla15/fused-llm-inference-kernels-in-cuda：用 CUDA 实现 LLM 推理融合 kernel
amacharla15/fused-llm-inference-kernels-in-cuda
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/amacharla15/fused-llm-inference-kernels-in-cuda
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 amacharla15/fused-llm-inference-kernels-in-cuda 项目提供一套用于 LLM 推理的高性能 CUDA kernel 实现，涵盖 warp/block reductions、激活函数，以及 fused RMSNorm、Softmax、RoPE 和 SwiGLU MLP block 等 20 个步骤。项目基于 Deep-ML 构建，可通过 python scaffold.py 运行，帮助学习让现代 Transformer 推理高效的 GPU 原语。
来源：GitHub · 灵魂体仓库 · github.com