JSSA稀疏注意力论文发布：128K上下文解码吞吐最高提升6.43倍
热点事件持续更新
JSSA稀疏注意力论文发布：128K上下文解码吞吐最高提升6.43倍
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
论文提出JSSA（Joint Subspace Sparse Attention）方法，通过学习共享低维 query-key 子空间和免 gather 的索引注意力内核，降低长上下文 LLM 解码中的 KV-cache 访存开销，并已开源代码（GitHub：jiwonsong-dev/JSSA，arXiv：2610.19026）。 据论文，在 NVIDIA B200 上、128K 上下文条件下，JSSA 解码吞吐最高达到 full-KV 注意力的 6.43 倍，精度接近 full-KV；无需训练即可达到接近模型原生 DSA 的推理精度，并在 700B 规模模型上保持其 96–99% 的吞吐。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 16:08
JSSA 论文提出联合子空间稀疏注意力，128K 上下文解码吞吐最高提升 6.43 倍报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- Reddit · r/LocalLLaMA精选JSSA 论文提出联合子空间稀疏注意力，128K 上下文解码吞吐最高提升 6.43 倍
论文提出 JSSA（Joint Subspace Sparse Attention），通过学习共享低维 query-key 子空间和免 gather 的索引注意力内核，降低长上下文 LLM 解码中的 KV-cache 访存开销。在 NVIDIA B200 上 128K 上下文实现最高 6.43 倍于 full-KV 注意力的解码吞吐，精度接近 full-KV；无需训练即可达到接近模型原生 DSA 的推理精度，并在 700B 规模模型上保持其 96-99% 的吞吐。arXiv：https://arxiv.org/abs/2610.19026，代码：https://github.com/jiwonsong-dev/JSSA
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。