Nucleus Speculative Decoding 提出基于目标模型合理性的宽松验证方法
Shuhao Li 等提出 Nucleus Speculative Decoding(NSD),在投机解码验证中引入目标模型的 nucleus 合理性判断,草稿 token 只要满足标准接受规则或属于目标模型 nucleus 即被接受,代码已开源。论文理论刻画了分布偏差,给出单步误差由草稿模型在目标 nucleus 内超额概率决定及序列级保真度界限;实验显示相对自回归解码加速最高 5.16 倍,相对标准投机解码最高 3.15 倍。arXiv:2610.07822。
推荐理由:论文给出了NSD的分布偏差理论刻画和与自回归、标准投机解码的具体加速倍数对比,方法可复用。