sarimahsan 开源 Triton 实现的注意力推理内核库 miniflash-triton
先了解这件事
开发者 sarimahsan 在 GitHub 开源 miniflash-triton，用 Triton 实现 FlashAttention-2、Split-KV FlashDecode、零拷贝 GQA、分页 KV-cache 和 CUDA Graph 推理内核，并与 PyTorch SDPA 做了对比测试。 其公布的自测数据（A100、L4 和 RTX PRO 6000 Blackwell 上）包括：Blackwell 前向注意力达 264.1 TFLOP/s，序列长度 1024 时延迟比 PyTorch SDPA 降低 1.41 倍；A100 解码带宽 1,452 GB/s，约为 HBM 物理上限的 93.4%；GPT-2 端到端解码 961.5 tok/s（较 eager SDPA 提升 9.1 倍），Llama-1B 为 322.5 tok/s。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库miniflash-triton：Triton 实现的高性能 LLM 注意力与推理核开源
sarimahsan 开源 miniflash-triton，用 Triton 实现 FlashAttention-2、Split-KV FlashDecode、零拷贝 GQA、分页 KV-cache 与 CUDA Graph 推理核。在 A100、L4 和 RTX PRO 6000 Blackwell 上对比 PyTorch SDPA：Blackwell 前向注意力达 264.1 TFLOP/s，S=1024 时延迟降低 1.41x；A100 解码带宽 1,452 GB/s（达 HBM 物理上限的 93.4%）；GPT-2 端到端解码 961.5 tok/s（较 eager SDPA 提升 9.1x），Llama-1B 达 322.5 tok/s。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月29日 17:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。