SPARE：免训练加速线性注意力解码

1. 15:00
   arXiv · cs.CL

   SPARE：用紧凑循环状态实现快速线性注意力解码

   SPARE（State Projection for Accelerated Recurrent Execution）是一种无需训练的方法，利用循环状态的低秩冗余，通过固定低维子空间、异构秩分配和轻量写补偿，直接在紧凑状态上完成循环读取与更新。它实现全模型解码 2.55 倍加速、循环内核 DRAM 流量降低 7.49 倍、峰值 GPU 内存降低 3.31 倍，并在同等内存预算下保持优于结构化剪枝的联想检索精度。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。