跳到正文
arXiv · cs.AI· Pengxiang Li·· 19 天前AI 评分34

InfiLoop:让 looped Transformer 稳定扩展到上万次测试时迭代

Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

来源与原文

arXiv · cs.AI

作者:Pengxiang Li

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.11570v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 InfiLoop,一种 loop-native 残差连接,通过内容加权与学习的时间衰减维护循环状态的持续聚合,解决 looped Transformer 随迭代次数增加性能退化的问题。7M 参数的 InfiLoop 在 Sudoku-Extreme 上达到 97.9% 精确率,ARC-AGI-2 上达到 13.6% pass@2,并可在测试时循环超过 20,000 有效步仍持续提升。代码已开源。

来源:arXiv · cs.AI · arxiv.org