arXiv · cs.CL· Chiatzen Wang·· 11 天前AI 评分38
接受不等于速度：免训练有损投机解码中的长度膨胀现象
Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding
来源与原文
arXiv · cs.CL
作者：Chiatzen Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23818v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究指出，有损投机解码的松弛验证虽然每轮平均多接受 1.34× 的 token，但会通过延长推理轨迹使补全长度膨胀 1.54×，抵消表面加速。对十二组 target-drafter 组合的评测显示，部分规则降低验证轮数时准确率显著下降，原因之一是持续推理耗尽输出预算。因此评估解码效率还须同时报告补全长度与验证轮数。
来源：arXiv · cs.CL · arxiv.org