arXiv · cs.AI· Jiarui Chen·· 22 天前AI 评分44
MC-Sparse：弥合扩散 Transformer 中稠密与稀疏注意力的差距
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
来源与原文
arXiv · cs.AI
作者：Jiarui Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.06801v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究提出免训练的稀疏注意力框架 MC-Sparse，通过缓存查询分组、基于精确注意力概率选取的 KV 索引及稠密-稀疏输出残差，并在后续去噪步骤中复用，解决高稀疏度下生成质量下降问题。相比稠密注意力，MC-Sparse 在 Minimax-H3-Base 上实现 1.80× 去噪加速，在 3D 资产生成上实现 2.32× 加速，且质量损失可忽略。
来源：arXiv · cs.AI · arxiv.org