跳到正文
arXiv · cs.CL· João Eduardo Batista·· 18 天前精选AI 评分54

arXiv 论文提出无需重训加速混合 LLM 长上下文解码的稀疏注意力方法

Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining

来源与原文

arXiv · cs.CL

作者:João Eduardo Batista

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.06133v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一篇 arXiv 论文提出在不训练、不改权重的前提下加速混合架构 LLM 剩余全注意力层的解码,方法是每层组合滑动窗口、固定前缀和固定预算的相关 token 稀疏注意力,窗口大小与预算用多目标搜索按层确定。在来自三个家族、4B 到 397B 参数的六个混合模型上,所选配置在 21 个长上下文数据集上保持基线精度;64k/256k token 解码在 Qwen3.5-4B 上最高提速 1.26x/2.22x,Qwen3.5-122B-A10B 上 1.20x/2.23x,Ornith-1.0-397B 上 1.16x/2.06x。论文 19 页,链接 https://arxiv.org/abs/2611.06133v1。

推荐理由

论文提出无需重训的混合模型长上下文解码加速方法,给出多模型、多数据集的速度与精度保持数据。

来源:arXiv · cs.CL · arxiv.org