arXiv · cs.CL· Hee Seung Hwang·· 12 小时前AI 评分40
MERLIN：多状态线性注意力与广义二阶路由
Multi-State Linear Attention with Generalized Second-Order Routing
来源与原文
arXiv · cs.CL
作者：Hee Seung Hwang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37645v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 MERLIN，通过跟踪各段 key 的一阶和二阶矩，让多状态线性注意力（MSLA）在聚合时兼顾查询与各段对齐的均值和方差，实现更内容感知的状态路由。在 Gated DeltaNet-1.3B 和 Mamba-2-780M 的多状态变体上，MERLIN 在 RULER 和长上下文 QA 上分别提升 +8.3% 和 +7.0%，在 LongBench 子任务上提升 +13.5% 和 +12.0%，甚至超过消耗 4x 内存的基线方法。
来源：arXiv · cs.CL · arxiv.org