arXiv · cs.CL· Yuekun Yao·· 2 天前精选AI 评分52
arXiv 论文提出 ARLoop：基于 attention residuals 的全开放 looped transformer
ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals
来源与原文
arXiv · cs.CL
作者：Yuekun Yao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.05234v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 ARLoop，一种基于 attention residuals 的 looped transformer 架构，通过沿模型深度的注意力选择性聚合各层输入。在 140M 与 370M 参数、循环深度 R=1 到 5 的对照实验中持续优于既有残差设计；滑动窗口深度注意力可匹配或超过全历史注意力。0.6B 与 1.2B 版本按真实 LLM 预训练配方训练，1.2B 模型仅用 0.5T tokens、三次循环预训练，在所有评测任务上超过 Huginn-3.5B，并与 Qwen3.5-2B 等同规模非 looped 模型相当，数学与编码任务提升尤其明显。
推荐理由
论文用控制实验和真实预训练对比验证了 attention residuals 在 looped transformer 上的收益，数学与编码任务提升数据齐全。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。