arXiv · cs.CL· Bohan Sun·· 12 天前AI 评分34
ReaDy：用循环状态作为动态上下文加速混合线性注意力大语言模型推测解码
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
来源与原文
arXiv · cs.CL
作者：Bohan Sun
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20503v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ReaDy 是首个利用混合线性注意力（HLA）模型循环状态进行推测解码中按位置上下文检索的方法，通过可学习查询和轻量 state reader 补充草稿上下文。基于 DSpark 框架，在数学、代码、对话七项基准上，ReaDy 配合 Qwen3.8-27B 在单张 NVIDIA B200 上实现平均 3.16× 解码加速，较 DSpark 吞吐量平均提升 7.97%、接受长度提升 8.50%。代码已开源。
来源：arXiv · cs.CL · arxiv.org