GitHub · 去对齐工具与仓库·· 4 小时前AI 评分52
miniflash-triton：Triton 实现的高性能 LLM 注意力与推理核开源
sarimahsan/miniflash-triton
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sarimahsan/miniflash-triton
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
sarimahsan 开源 miniflash-triton，用 Triton 实现 FlashAttention-2、Split-KV FlashDecode、零拷贝 GQA、分页 KV-cache 与 CUDA Graph 推理核。在 A100、L4 和 RTX PRO 6000 Blackwell 上对比 PyTorch SDPA：Blackwell 前向注意力达 264.1 TFLOP/s，S=1024 时延迟降低 1.41x；A100 解码带宽 1,452 GB/s（达 HBM 物理上限的 93.4%）；GPT-2 端到端解码 961.5 tok/s（较 eager SDPA 提升 9.1x），Llama-1B 达 322.5 tok/s。
来源：GitHub · 去对齐工具与仓库 · github.com