arXiv · cs.CL· Jiacheng Cai·· 17 小时前AI 评分41
超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接
Beyond K/V Caches: Cross-Model State Handoff in Hybrid Linear-Attention LLMs
来源与原文
arXiv · cs.CL
作者：Jiacheng Cai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.08133v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
针对混合线性注意力模型跨模型切换时需重复 prefill 的问题，研究者提出 Hybrid State Transfer（HST），同时处理 FA 缓存、循环状态（REC）与卷积历史（Conv）三类状态。在五个基准上，Qwen3.5 4B→27B 与 9B→27B 的平均任务保留率分别为 89.88% 和 94.11%；在已有源缓存的合成 16K 输入上，交接主体分别提速 21.66× 和 21.91×。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。