HyFlash：端侧推测解码的前缀记忆先验

1. 08:31
   arXiv · cs.CL

   HyFlash：面向端侧投机解码的前缀记忆先验

   HyFlash 是一种紧凑的并行草稿模型，通过前缀记忆先验将长程上下文建模与细粒度草稿位置交互分离，用局部注意力捕捉近期上下文、循环记忆把历史目标特征压缩为固定大小状态，从而在有限的草稿侧内存下实现长程建模。实验显示其接受率高于全上下文注意力，KV 存储显著更少，且在浅层草稿模型和长上下文场景收益更大。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。