Reddit · r/LocalLLaMA· /u/pmttyji·· 1 小时前精选AI 评分61
JSSA 论文提出联合子空间稀疏注意力，128K 上下文解码吞吐最高提升 6.43 倍
[Paper] Joint Subspace Sparse Attention for Efficient Long-Context Decoding
来源与原文
Reddit · r/LocalLLaMA
作者：/u/pmttyji
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xidzm4/paper_joint_subspace_sparse_attention_for/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 JSSA（Joint Subspace Sparse Attention），通过学习共享低维 query-key 子空间和免 gather 的索引注意力内核，降低长上下文 LLM 解码中的 KV-cache 访存开销。在 NVIDIA B200 上 128K 上下文实现最高 6.43 倍于 full-KV 注意力的解码吞吐，精度接近 full-KV；无需训练即可达到接近模型原生 DSA 的推理精度，并在 700B 规模模型上保持其 96-99% 的吞吐。arXiv：https://arxiv.org/abs/2610.19026，代码：https://github.com/jiwonsong-dev/JSSA
推荐理由
论文给出 JSSA 在 B200 上 128K 上下文最高 6.43 倍解码吞吐的实测数据，并开源了代码与含大量图表的 PDF。
来源：Reddit · r/LocalLLaMA · reddit.com