arXiv · cs.CL· Xiaoran Liu·· 19 天前精选AI 评分56
长上下文混合模型机制 Part 1.1：从混合注意力到混合位置编码
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
来源与原文
arXiv · cs.CL
作者：Xiaoran Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10114v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.10114 提出 Mechanics of Long-Context Hybrid Models 系列的 Part 1.1，研究全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA、GDN）混合架构的工作原理。作者发现上下文扩展中的 Seesaw Effect：LA 混合更受益于长上下文持续预训练，SWA 混合在长度外推上表现更好，并归纳了 SWA 混合的 Short-Context Learning Trap、Short-Window Weariness 和 Long-Window Laziness，以及 LA 混合的 Matthew Effect。
推荐理由
论文解释了混合注意力架构为何在长上下文上有效，并给出可复用的 Sliding-Window Linear Attention 设计与外推结果。
来源：arXiv · cs.CL · arxiv.org