热点事件观察中

LowRAM：低秩键与摊销值压缩KV缓存

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Teresa Delgado 提交的论文提出 LowRAM，一种非对称 KV Cache 压缩方案：利用每个注意力头内 value 可由对应 key 预测的特性做 value 缓存摊销，只存储重建效果最差 token 的残差，实现 4× 近无损 value 压缩；再结合跨层低秩 key 压缩，在三个模型家族上接近无损，4× 压缩下峰值解码吞吐最高提升 5×。 LowRAM 可与量化和驱逐组合，在长上下文下达到 26.9× 压缩并保持基线 94.5% 的性能。

AI 根据报道生成 · 6 小时前更新

最新进展11月5日 03:00

LowRAM：用低秩键与摊销值实现测试时可组合的 KV Cache 压缩

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

03:00
arXiv · cs.CL
LowRAM：用低秩键与摊销值实现测试时可组合的 KV Cache 压缩
LowRAM 提出一种非对称 KV Cache 压缩方案，利用每个注意力头内 value 可由对应 key 预测的特性做 value 缓存摊销，仅存储重建效果最差 token 的残差，实现 4× 近无损 value 压缩。该方法结合跨层低秩 key 压缩，在三个模型家族上接近无损，4× 压缩下峰值解码吞吐最高提升 5×。LowRAM 还可与量化和驱逐组合，在长上下文下达到 26.9× 压缩并保持基线 94.5% 的性能。

本事件热度走势

可比范围当前: 3
可比范围峰值: 411月6日 12:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。