热点事件持续更新

KV Cache 驱逐门控机制研究

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Hao Gu 等作者提交论文，提出用可学习门控判断 KV Cache 中哪些条目承载其余缓存无法提供的信息。论文称，该门控在语言建模损失下训练时始终接近常数分数，原因是冻结骨干本就适配稠密注意力，其损失偏好空操作；将稠密注意力置于门控触及范围之外并以稠密模型预测为目标，可消除这一障碍与梯度归责问题。在 75% KV Cache 压缩下，该门控在 Qwen3-8B 上于 8K 的 RULER 达到 90.14、LongBench 达到 46.03，分别低于全缓存推理 3.72 和 1.36 分。

AI 根据报道生成 · 4 小时前更新

最新进展11月5日 15:53

KV Cache 淘汰的门控机制

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

15:53
arXiv · cs.CL
KV Cache 淘汰的门控机制
KV Cache 淘汰需要一个可学习门控来判断哪些条目承载其余缓存无法提供的信息，但该门控在语言建模损失下训练时始终接近常数分数，因为冻结骨干本就适配稠密注意力，其损失偏好空操作。将稠密注意力置于门控触及范围之外并以稠密模型预测为目标，可同时消除这一障碍与梯度归责问题；在 75% KV Cache 压缩下，该门控在 Qwen3-8B 上于 8K 的 RULER 达到 90.14、LongBench 达到 46.03，分别低于全缓存推理 3.72 和 1.36 分。

本事件热度走势

可比范围当前: 5
可比范围峰值: 511月6日 13:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。