arXiv · cs.CL· Binglei Li·· 18 天前AI 评分21
扩散与自回归模型中文生图 Transformer 中 Attention Sink 现象的探索研究
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
来源与原文
arXiv · cs.CL
作者：Binglei Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13337v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象，发现其在双向扩散模型和自回归模型中均存在但模式不同：自回归模型将注意力集中在首位和全局 token 上，双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化；引入 register token 重分布注意力后，部分配置能保持或小幅提升生成性能。
来源：arXiv · cs.CL · arxiv.org