混合线性注意力模型跨模型状态迁移方法HST提出
热点事件持续更新
混合线性注意力模型跨模型状态迁移方法HST提出
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
研究者 Jiacheng Cai 提出 Hybrid State Transfer（HST），用于混合线性注意力模型跨模型切换时迁移 FA 缓存、循环状态（REC）与卷积历史（Conv）三类状态，避免重复 prefill。 在五个基准上，Qwen3.5 4B→27B 与 9B→27B 的平均任务保留率分别为 89.88% 和 94.11%。在已有源缓存的合成 16K 输入上，交接主体分别提速 21.66× 和 21.91×。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 23:00
超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv · cs.CL超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接
针对混合线性注意力模型跨模型切换时需重复 prefill 的问题，研究者提出 Hybrid State Transfer（HST），同时处理 FA 缓存、循环状态（REC）与卷积历史（Conv）三类状态。在五个基准上，Qwen3.5 4B→27B 与 9B→27B 的平均任务保留率分别为 89.88% 和 94.11%；在已有源缓存的合成 16K 输入上，交接主体分别提速 21.66× 和 21.91×。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。