arXiv · cs.AI· Adrian Baule·· 21 小时前AI 评分31
掩码扩散即随机顺序吸附:一个可精确求解的并行解码模型
Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding
来源与原文
arXiv · cs.AI
作者:Adrian Baule
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07845v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
掩码扩散模型的并行生成误差被证明等于生成过程相对反向掩码过程的熵产生。对 Markov 数据,生成过程等价于带标签间隙的随机顺序吸附过程,作者对任意步数给出了精确解;多步情形下误差由 token 间互信息给出的热力学度量决定,最优调度是该度量的测地线。文本相关性越长,误差越集中在生成起始阶段,先小步后加速的调度在路径误差和困惑度上收益更大且所需步数更少。
来源:arXiv · cs.AI · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。