arXiv · cs.AI· Zhaohui Wang·· 23 天前AI 评分41
LatentIndex：基于层特定选择的跨层共享稀疏注意力
LatentIndex: Cross-Layer Sharing with Layer-Specific Selection for Sparse Attention
来源与原文
arXiv · cs.AI
作者：Zhaohui Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.04635v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LatentIndex 将 Multi-head Latent Attention 的潜在共享原则扩展到稀疏注意力索引层，通过共享潜在缓存加层特定打分实现跨层索引复用。在 DeepSeek-V3.2 上，四层共享使逻辑 indexer 缓存存储减少 61.1%；免训练版本在 DeepSeek-V3.2 与 GLM-5 上的头级注意力质量召回率最高超出 IndexCache 3.28 个百分点，同时保持接近原生 DSA 的 RULER 和 LongBench 表现。分层选择（HS）变体在 8K-128K 上下文下实现相对 DSA 2.30-2.72 倍的 decode indexer 加速。
来源：arXiv · cs.AI · arxiv.org