arXiv · cs.CL· Zhiyun Shi·· 19 天前精选AI 评分54
Attic-KV 论文提出只排练将被读取的内容以改进 KV 缓存压缩
Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
来源与原文
arXiv · cs.CL
作者：Zhiyun Shi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12133v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.12133 提出 Attic-KV，一种无需训练的 KV 缓存排练方法，核心原则是只排练将被读取的内容并按内容自适应控制排练量。论文显示在 3% 保留率下全量重读在 RULER 上仅得 96.5 分中的 31.5 分，在 LongBench 自然文本任务上低于完全不排练的方法；Attic-KV 在 RULER 和 LongBench 的八个测试设置中均为最佳免训练方法，接入 KVgrad 和 RestoreKV+ 分别最高提升 17.1 和 28.1 分，3% 保留率下领先全量重读 41.9 分。
推荐理由
论文指出 KV 缓存预算紧张时全量重读反而失忆，并以问答自测式排练提升多个主模型的压缩表现。
来源：arXiv · cs.CL · arxiv.org