arXiv · cs.AI· Weiqi Sun·· 18 天前AI 评分39
OAL：基于分组二次核的离群维度感知注意力线性化方法
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
来源与原文
arXiv · cs.AI
作者：Weiqi Sun
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13674v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出离群维度感知注意力线性化方法 OAL，指出少量离群维度贡献了 softmax 注意力线性化近似误差的主要部分。该方法通过 Hadamard 积形式与分组二次核保留离群维度的差异化处理，在 Qwen2.5-0.5B 上较 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%；配合 LoRA 微调将 WikiText-103 困惑度从 31.71 降至 27.50，并提升 PIQA、HellaSwag 和 ARC-E 准确率。
来源：arXiv · cs.AI · arxiv.org