PN-Mix:面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化
PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对,在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下,其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bits。