跳到正文
arXiv · cs.AI· Baoyou Chen·· 18 天前精选AI 评分56

D3D:解耦扩散起草实现异步投机解码

D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

来源与原文

arXiv · cs.AI

作者:Baoyou Chen

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.06425v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 D3D,一个独立的扩散 drafter,去除对目标模型隐状态的轮间依赖,实现异步投机解码。D3D 结合分块去噪与辅助自回归监督,按对验收长度的影响逐步剪层,从 36 层剪掉 5 层后在三个基准上保留超过 99% 平均验收长度;以 Qwen3-8B 和 Qwen3-32B 为目标模型,七个基准上平均加速 5.00x 和 5.71x,对比 DFlash 的 4.03x 和 3.67x,GSM8K 上以 Qwen3-32B 达到 7.48x,代码已公开。

推荐理由

原文给出了与 DFlash 的跨基准加速对比和剪层保留验收长度的数据,可了解异步投机解码的实现思路。

来源:arXiv · cs.AI · arxiv.org