user01000000000010/CUDA:面向 LLM 与 Transformer 的高性能 CUDA 加速内核库
GitHub 仓库 user01000000000010/CUDA 提供一套面向 LLM 和 Transformer 架构的生产级 CUDA 加速内核库,基于 Tile IR、TMA 异步流水线和寄存器内数值稳定化实现。核心功能包括 Hopper sm_90 架构的 FlashAttention-3 生产者-消费者内核、FlashAttention-2 前向/反向实现、兼容 vLLM 的 PagedAttention、FP8 量化 KV-Cache(节省 50%–75% HBM 显存)、DeepSeek V2/V3 的 MLA(KV 占用降低 5x–8x)、GQA 与融合 RoPE,以及端到端全融合 Transformer 块。