arXiv · cs.CL· Sosuke Kobayashi·· 2 天前精选AI 评分53
Coarse Semantic Blocks：免训练稀疏注意力实现 512K 上下文 2.3 倍 prefill 加速
Coarse Semantic Blocks for Efficient Training-Free Sparse Attention
来源与原文
arXiv · cs.CL
作者：Sosuke Kobayashi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04313v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Sosuke Kobayashi 在 arXiv 发布免训练稀疏注意力方法，将 key 聚成跨越非连续位置的粗语义块，按质心打分为每个 query 选择块并分组处理，加速 prefill 与解码。在单张 NVIDIA H200 上测 Qwen3.5-4B 和 35B-A3B：计入索引成本后 512K token 时 prefill 加速 2.3-2.4x、解码 1.7-2.0x，1M 时 prefill 加速 2.9-3.0x；35B-A3B 在 1M 内的五个 RULER 任务、LongBench-v2 和 256K 内 MRCR 上接近稠密注意力，4B 模型主要在多 key 检索上有精度损失，但仍优于同延迟的稠密 Qwen3.5-2B。
推荐理由
训练-free 的稀疏注意力方法给出了含索引成本的全模型实测加速和 RULER 等基准精度对比，长上下文部署可直接参考。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。