GitHub · 灵魂体仓库·· 5 天前AI 评分32
user01000000000010/CUDA:面向 LLM 与 Transformer 的高性能 CUDA 加速内核库
user01000000000010/CUDA
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/user01000000000010/CUDA
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 user01000000000010/CUDA 提供一套面向 LLM 和 Transformer 架构的生产级 CUDA 加速内核库,基于 Tile IR、TMA 异步流水线和寄存器内数值稳定化实现。核心功能包括 Hopper sm_90 架构的 FlashAttention-3 生产者-消费者内核、FlashAttention-2 前向/反向实现、兼容 vLLM 的 PagedAttention、FP8 量化 KV-Cache(节省 50%–75% HBM 显存)、DeepSeek V2/V3 的 MLA(KV 占用降低 5x–8x)、GQA 与融合 RoPE,以及端到端全融合 Transformer 块。
来源:GitHub · 灵魂体仓库 · github.com