partha2312/llm-inference-kernels：LLM 推理内核级优化实现与分析

该仓库实现了 LLM 推理的内核级优化技术，结合 GPU 内核工程与量化方法的数值分析。flash_attention 模块用 Triton 实现 FlashAttention 分块算法的融合因果注意力内核，并在 A100 PCIe 上给出序列长度 256 到 4096 的 roofline 分析；quantization 模块对 Llama-3.2-1B 的 INT8 量化误差做谱分析，涵盖修正舍入的 RTN 量化、per-channel 缩放及误差矩阵的 SVD 分解；cuda_filters 模块提供高斯、双边、中值滤波的 CUDA 实现，共享内存版本将冗余 HBM 读取从每像素最多 WINDOW² 次降至一次。