热点事件持续更新

MERLIN 提出多状态线性注意力的二阶矩路由方法

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Hee Seung Hwang 在 arXiv 发布论文 MERLIN，针对多状态线性注意力（MSLA）的状态聚合问题，提出通过跟踪各段 key 的一阶和二阶矩，使聚合时能兼顾查询与各段对齐的均值和方差，实现更内容感知的状态路由。论文称，在 Gated DeltaNet-1.3B 和 Mamba-2-780M 的多状态变体实验中，该方法在 RULER、长上下文 QA 及 LongBench 子任务等长上下文任务上持续优于现有聚合方法，具体提升幅度包括 RULER +8.3%、长上下文 QA +7.0%、LongBench 子任务 +13.5% 和 +12.0%，部分场景超过消耗 4 倍内存的基线。

AI 根据报道生成 · 1 小时前更新

最新进展10月28日 01:55

MERLIN：多状态线性注意力与广义二阶路由

报道时间线

沿着报道，了解事件的不同侧面。

10月28日

01:55
arXiv · cs.CL
MERLIN：多状态线性注意力与广义二阶路由
论文提出 MERLIN，通过跟踪各段 key 的一阶和二阶矩，让多状态线性注意力（MSLA）在聚合时兼顾查询与各段对齐的均值和方差，实现更内容感知的状态路由。在 Gated DeltaNet-1.3B 和 Mamba-2-780M 的多状态变体上，MERLIN 在 RULER 和长上下文 QA 上分别提升 +8.3% 和 +7.0%，在 LongBench 子任务上提升 +13.5% 和 +12.0%，甚至超过消耗 4x 内存的基线方法。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。