arXiv · cs.CL· Wenyu Du·· 1 天前AI 评分49
CopyLoop:基于上下文复制与浅层筛选的快速循环 Transformer 解码算法
CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening
来源与原文
arXiv · cs.CL
作者:Wenyu Du
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38822v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
CopyLoop 是一种无需训练的解码算法,通过低成本上下文复制提出多 token 后缀,再经浅层循环深度提前筛选错误分支,并结合持续调度实现并行验证。在 Ouro、Raven、Huginn 三个家族共六个模型检查点上,其相对全深度自回归解码在 Base 模型上加速 2.98x–10.70x,Thinking 模型上加速 2.74x–3.52x,且只需轻量校准,在可复用上下文的长生成中加速更明显。
来源:arXiv · cs.CL · arxiv.org