跳到正文
arXiv · cs.CL· Neha Verma·· 19 天前AI 评分37

VFold:对称感知的跨层 value cache 压缩方法

VFold: Symmetry-Aware Cross-Layer Value Cache Compression

来源与原文

arXiv · cs.CL

作者:Neha Verma

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.12338v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出 VFold,一种对称感知的 value cache 合并策略,可在 LLM 解码时压缩 KV cache 内存,同时避免性能下降且无需修改模型架构。该方法可与高比率量化或 key cache 剪枝等现有压缩技术叠加,达到单一方法无法实现的压缩比,为内存受限下扩展上下文窗口提供了简单有效的方向。

来源:arXiv · cs.CL · arxiv.org