arXiv · cs.CL· Yuhan Chen·· 21 天前AI 评分45
Hybrid Latent Attention（HLA）为 Looped 语言模型压缩 KV cache
Hybrid Latent Attention for Looped Language Models
来源与原文
arXiv · cs.CL
作者：Yuhan Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.07940v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究提出 Hybrid Latent Attention（HLA），对 Looped 语言模型（Ouro，T=4）在滑动窗口 W 内保留精确 keys/values，更早 token 则存为紧凑 latent，供每轮循环的 query 直接读取。在 1.4B 和 2.6B 参数模型上冻结预训练权重并仅训练新增参数后，KV cache 每 token 缩小 10.7x，每 GPU 可并发序列增加 4.0-8.8x，1K 上下文解码吞吐提升 2.5x、16K 时最高 7.4x。HLA 在数学、知识与推理 benchmark 上保留原模型 97% 以上准确率，16K 长文本检索达 96-100%。
来源：arXiv · cs.CL · arxiv.org