arXiv · cs.CL· Shuhao Li·· 21 天前精选AI 评分52
Nucleus Speculative Decoding 提出基于目标模型合理性的宽松验证方法
Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
来源与原文
arXiv · cs.CL
作者：Shuhao Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.07822v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Shuhao Li 等提出 Nucleus Speculative Decoding（NSD），在投机解码验证中引入目标模型的 nucleus 合理性判断，草稿 token 只要满足标准接受规则或属于目标模型 nucleus 即被接受，代码已开源。论文理论刻画了分布偏差，给出单步误差由草稿模型在目标 nucleus 内超额概率决定及序列级保真度界限；实验显示相对自回归解码加速最高 5.16 倍，相对标准投机解码最高 3.15 倍。arXiv:2610.07822。
推荐理由
论文给出了NSD的分布偏差理论刻画和与自回归、标准投机解码的具体加速倍数对比，方法可复用。
来源：arXiv · cs.CL · arxiv.org