arXiv · cs.CL· Dor Tsur·· 4 天前AI 评分47
RIFT：面向草稿模型的 KV cache 压缩方法与互补可压缩性训练
RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training
来源与原文
arXiv · cs.CL
作者：Dor Tsur
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31098v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 RIFT，一组基于选择的 KV cache 压缩策略，用于缓解推测解码中随输出变长产生的 decode staleness 问题，平衡 prefill 信息与近期生成 token，并引入自适应 KV 刷新与基于稀疏注意力掩码的可压缩性训练。经压缩训练后，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K token 输入、4K token 输出和 8K token KV cache 预算下保留超过 98% 的全缓存接受长度。
来源：arXiv · cs.CL · arxiv.org