论文提出将注意力偏置折叠进KV缓存Key以兼容标准Kernel
热点事件观察中
论文提出将注意力偏置折叠进KV缓存Key以兼容标准Kernel
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Utkarsh Kanwat 发布 arXiv 论文（arXiv:2610.36520），提出将 Attention Matching 的每 key 偏置沿每 head 一个闭式方向折叠进 key，得到标准 KV cache，从而无需 FlashAttention 或 vLLM 专用输入即可运行，误差由 query 在该方向上的投影偏离程度约束。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · cs.CLarXiv 论文提出将注意力偏置折叠进 key 的 KV cache 压缩方法，可在标准 FlashAttention 与 vLLM 上运行
该论文提出将 Attention Matching 的每 key 偏置沿每 head 一个闭式方向折叠进 key，得到标准 KV cache，无需 FlashAttention 或 vLLM 专用输入即可运行，误差由 query 在该方向上的投影偏离程度约束。在相同 per-head 预算下，未修改的 vLLM 通过 KV connector 服务折叠 cache，在 51 个 Qwen3-4B 问题上与 Hugging Face 答案完全一致，并在 Qwen3 与 Llama-3.1-8B 共 14 个 QuALITY/LongHealth 设置中的 13 个与原方法精度相当。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。