arXiv · cs.AI· Ze-Wei Liou·· 18 天前AI 评分47
ReplaySSM：缓存 SSM 输入而非状态
ReplaySSM: Cache SSM Inputs, Not State
来源与原文
arXiv · cs.AI
作者：Ze-Wei Liou
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13778v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 ReplaySSM，将 SSM 状态表示为检查点加近期 SSM 输入缓冲区，跳过大部分步骤的状态写入，使混合模型的主要状态内存流量约减半。已在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现，batch size 256 下较调优后的 vLLM 基线加速 1.20–1.47×，在两个 120B 级模型上吞吐量约为 vLLM 投机解码的 1.8×，并支持低成本投机回滚与分离精度的检查点以降低精度损失。
来源：arXiv · cs.AI · arxiv.org