arXiv · cs.CL· Zhaoxiang Feng·· 13 天前精选AI 评分55
JetSpec++ 论文提出前瞻并行草拟与自修正的推测解码方法
JetSpec++: Foresight Parallel Drafting with Self Refinements
来源与原文
arXiv · cs.CL
作者：Zhaoxiang Feng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19792v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
UC San Diego 等机构在 arXiv 发布 JetSpec++，通过块内自修正、块间前瞻草拟和草拟与验证流水线重叠，将草拟的边际耗时降到接近零。相比自回归解码最高加速 7.45 倍，相比 DSpark 最高 1.54 倍，在 GB200 上单请求达每秒 1,361 token，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开放。
推荐理由
论文给出 JetSpec++ 的三个组件和与 DSpark、自回归解码的加速对比数据，读者可据此评估该推测解码方案的适用性。
来源：arXiv · cs.CL · arxiv.org