arXiv · cs.AI· Weijian Luo·· 12 天前AI 评分37
面向连续扩散语言模型的 Transformer 架构设计：LangDiT
Designing Transformers for Continuous Diffusion Language Models
来源与原文
arXiv · cs.AI
作者：Weijian Luo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22330v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Language Diffusion Transformer（LangDiT），针对连续扩散语言模型（CDLM）系统优化 Transformer 架构，引入 feature 与 query-key normalization、noise conditioning、梯度路由等设计。以 LangFlow 为骨干时，OpenWebText 上 1024 token 无条件生成取得 21.72 GenPPL（1024 NFEs）；适配 Plaid-style CDLM 后达到 11.33 GenPPL（1024 NFEs），均创 SOTA，且不改变原模型的训练目标与推理采样器。
来源：arXiv · cs.AI · arxiv.org