TeCoP:用 Tentative Context Pipelining 加速扩散大语言模型解码
arXiv 论文 2610.27583 提出 TeCoP,一种无需训练的解码器,通过错开的块级流水线与 draft-and-verify,将稳定但未提交的预测作为临时跨块上下文,解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP,TeCoP 将前向评估次数最多减少 87%,无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍,在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB,同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由:论文提出训练-free 的扩散语言模型解码方案,给了跨 12 个模型基准设置的吞吐与精度对比数据,方法可复现。