arXiv · cs.AI· Afshin Khadangi·· 12 天前AI 评分41
Continuum Attention：用连续积分替代离散查找的注意力算子
Continuum Attention
来源与原文
arXiv · cs.AI
作者：Afshin Khadangi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20586v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Continuum Attention（CA），一种因果 Transformer 注意力算子，将离散 key/value 查找替换为对连续分段线性记忆曲线的积分，通过闭式指数矩实现精确归一化注意力，梯度解析可导，支持并行 GPU 实现，保持二次序列复杂度。相比 softmax 与 focal attention，CA 分别将验证集平均负对数似然降低 0.0200 和 0.0480 nats per byte，在独立验证切片上比最强 softmax 基线低 0.0457 nats per byte。
来源：arXiv · cs.AI · arxiv.org