arXiv · cs.CL· Ekaterina Alimaskina·· 14 天前精选AI 评分52
扩散语言模型多残差流研究：双流将验证集重建困惑度降低 5.71%
Multi-Stream Residual Computation in Diffusion Language Models
来源与原文
arXiv · cs.CL
作者：Ekaterina Alimaskina
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18407v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%，外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式，角色条件路由训练可恢复双流一半的验证收益，该机制在更大模型规模上同样成立。
推荐理由
论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据，并解释了双流分工的机制来源。
来源：arXiv · cs.CL · arxiv.org