arXiv · cs.AI· Jiongfan Yang·· 15 小时前AI 评分28
SpecSlot:面向像素空间生成 Transformer 的角色耦合 Tokenization 方法
Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
来源与原文
arXiv · cs.AI
作者:Jiongfan Yang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.40647v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
SpecSlot 是一种像素空间 rectified-flow Transformer,通过将每个空间锚点扩展为多个分配不同 DCT 频段的 slot,并只让最低频 slot 参与全局注意力,把输出细节与全局注意力序列长度解耦。在 ImageNet-512 上其 FID 较同 FLOPs 的 JiT 对照提升 2.84 且 FLOPs 减少 3.9%;在文生图任务上,其 DPG-Bench 超过 JiT-B/8 达 1.06,前向成本降低 40.6%。
来源:arXiv · cs.AI · arxiv.org