arXiv · cs.CL· Utkarsh Kanwat·· 1 天前AI 评分50
arXiv 论文提出将注意力偏置折叠进 key 的 KV cache 压缩方法，可在标准 FlashAttention 与 vLLM 上运行
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
来源与原文
arXiv · cs.CL
作者：Utkarsh Kanwat
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36520v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该论文提出将 Attention Matching 的每 key 偏置沿每 head 一个闭式方向折叠进 key，得到标准 KV cache，无需 FlashAttention 或 vLLM 专用输入即可运行，误差由 query 在该方向上的投影偏离程度约束。在相同 per-head 预算下，未修改的 vLLM 通过 KV connector 服务折叠 cache，在 51 个 Qwen3-4B 问题上与 Hugging Face 答案完全一致，并在 Qwen3 与 Llama-3.1-8B 共 14 个 QuALITY/LongHealth 设置中的 13 个与原方法精度相当。
来源：arXiv · cs.CL · arxiv.org