arXiv · cs.AI· Omer Dahary·· 22 天前AI 评分47
如何解读多模态扩散 Transformer 中的上下文 token
Learning to Read the Contextual Tokens in Diffusion Transformers
来源与原文
arXiv · cs.AI
作者：Omer Dahary
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.06844v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出通过自然语言询问解读 MM-DiT 上下文 token 的框架：训练轻量瓶颈网络将中间上下文 token 映射到冻结 LLM 的输入空间，使 LLM 能直接回答生成图像的相关问题。结果显示上下文 token 在去噪早期即编码生成语义，即使空提示词下也可解码，且可读性更高的生成获得更高人类偏好分数。基于此提出的 Contextual Alignment 训练技术可提升生成质量与分布覆盖。
来源：arXiv · cs.AI · arxiv.org