掩码扩散并行解码获精确可解模型

1. 19:23
   arXiv · cs.AI

   掩码扩散即随机顺序吸附：一个可精确求解的并行解码模型

   掩码扩散模型的并行生成误差被证明等于生成过程相对反向掩码过程的熵产生。对 Markov 数据，生成过程等价于带标签间隙的随机顺序吸附过程，作者对任意步数给出了精确解；多步情形下误差由 token 间互信息给出的热力学度量决定，最优调度是该度量的测地线。文本相关性越长，误差越集中在生成起始阶段，先小步后加速的调度在路径误差和困惑度上收益更大且所需步数更少。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。