arXiv · cs.CL· Runguo Li·· 22 天前精选AI 评分53
BreadthKV:长链式推理中 KV 缓存压缩的精度与数量权衡研究
Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning
来源与原文
arXiv · cs.CL
作者:Runguo Li
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05685v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.05685 提出 BreadthKV,研究长链式推理(CoT)解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由
论文用 60 题端到端校准决定位宽分配,并给出 AIME 上 91% 对 40% 的触顶率对比,方法与数据都可复现。
来源:arXiv · cs.CL · arxiv.org