跳到正文
arXiv · cs.CL· Runguo Li·· 22 天前精选AI 评分53

BreadthKV:长链式推理中 KV 缓存压缩的精度与数量权衡研究

Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning

来源与原文

arXiv · cs.CL

作者:Runguo Li

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.05685v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文 2610.05685 提出 BreadthKV,研究长链式推理(CoT)解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。

推荐理由

论文用 60 题端到端校准决定位宽分配,并给出 AIME 上 91% 对 40% 的触顶率对比,方法与数据都可复现。

来源:arXiv · cs.CL · arxiv.org