arXiv · cs.CL· Teresa Delgado·· 2 天前AI 评分41
LowRAM：用低秩键与摊销值实现测试时可组合的 KV Cache 压缩
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
来源与原文
arXiv · cs.CL
作者：Teresa Delgado
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07025v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LowRAM 提出一种非对称 KV Cache 压缩方案，利用每个注意力头内 value 可由对应 key 预测的特性做 value 缓存摊销，仅存储重建效果最差 token 的残差，实现 4× 近无损 value 压缩。该方法结合跨层低秩 key 压缩，在三个模型家族上接近无损，4× 压缩下峰值解码吞吐最高提升 5×。LowRAM 还可与量化和驱逐组合，在长上下文下达到 26.9× 压缩并保持基线 94.5% 的性能。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。