团队开源超长上下文稀疏注意力方法，可将 Qwen 3.8 27B 上下文扩展至 10M tokens

研究团队发布开源稀疏注意力新方法，作者自称来自该团队。结果显示对 Qwen 3.8 27B 做注意力稀疏化未见精度损失；上下文扩展到 10M tokens 时部分任务精度下降，但 NIAH 等多数任务仍正常；仅用 next-token prediction loss 原生训练稀疏注意力可达到与全注意力相同的验证损失且更快。所有内容包括 kernels、SGLang 集成和论文均完全开源，目标是让本地硬件以更低成本获得更长上下文。