热点事件观察中

论文提出ARLoop循环Transformer架构，1.2B模型称超Huginn-3.5B

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Yuekun Yao 在 arXiv 发布论文，提出基于注意力残差（attention residuals）的循环 Transformer 架构 ARLoop，通过注意力沿模型深度选择性聚合各层输入。论文实验显示，ARLoop 在 140M 与 370M 参数、循环深度 1 到 5 的对照中持续优于既有残差设计；滑动窗口深度注意力可匹配或超过全历史注意力。其 1.2B 模型仅用 0.5T tokens、三次循环预训练，论文称在所有评测任务上超过 Huginn-3.5B，并与 Qwen3.5-2B 等同规模非 looped 模型相当，数学与编码任务提升尤其明显。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月4日

01:18
arXiv · cs.CL精选
arXiv 论文提出 ARLoop：基于 attention residuals 的全开放 looped transformer
论文提出 ARLoop，一种基于 attention residuals 的 looped transformer 架构，通过沿模型深度的注意力选择性聚合各层输入。在 140M 与 370M 参数、循环深度 R=1 到 5 的对照实验中持续优于既有残差设计；滑动窗口深度注意力可匹配或超过全历史注意力。0.6B 与 1.2B 版本按真实 LLM 预训练配方训练，1.2B 模型仅用 0.5T tokens、三次循环预训练，在所有评测任务上超过 Huginn-3.5B，并与 Qwen3.5-2B 等同规模非 looped 模型相当，数学与编码任务提升尤其明显。

本事件热度走势

可比范围当前: 4
可比范围峰值: 511月5日 03:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。