Latent Compaction:用测试时训练压缩 KV cache 并保持检索精度
Yingfa Chen 在 arXiv 发布 Latent Compaction 方法,通过测试时训练学习文档级紧凑 KV cache,模型权重全程冻结,训练只用关于文档的通用提示词、不接触下游问题与答案。在 RULER 上 32 倍压缩达到 96.7% 准确率,对比 KVZip+ 的 40.0%;在 RULER、LongBench 和 Phonebook Lookup 上均超过预算匹配的压缩基线,并在 Qwen3 与 MiniCPM5 两个模型上取得检索提升。代码已开源。
推荐理由:论文给出在 RULER 上 32 倍压缩下 96.7% 对 40.0% 的对照数据,可据此评估 KV cache 压缩方法的实际保留能力。