arXiv · cs.CL· Xiaohan Qin·· 18 天前AI 评分48
MSAR：多流注意力残差架构
Multi-Stream Attention Residuals
来源与原文
arXiv · cs.CL
作者：Xiaohan Qin
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13630v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals（AttnRes）扩展为多头深度注意力机制，通过多尺度因果卷积从序列上下文获取流多样性，并以轻量自适应混合合并各流。在 18B 和 28B MoE 规模的全部 12 个下游基准上，MSAR 一致优于标准残差连接、mHC 和 AttnRes。Scaling-law 实验显示其相对标准残差基线实现 1.58× iso-loss 计算加速，高于 AttnRes 的 1.35× 和 mHC 的 1.30×。
来源：arXiv · cs.CL · arxiv.org