跳到正文
Reddit · r/LocalLLaMA· /u/pmttyji·· 4 天前AI 评分39

论文提出 Continuum Attention:用连续积分替代离散 lookup 的注意力算子

[Paper] Continuum Attention

来源与原文

Reddit · r/LocalLLaMA

作者:/u/pmttyji

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xdhzi2/paper_continuum_attention/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 Continuum Attention(CA),一种将离散 key/value 查找替换为连续分段线性记忆曲线积分的因果 Transformer 注意力算子,可通过不超过二阶的矩解析求梯度并支持并行 GPU 实现,保持二次序列复杂度。相比 softmax 与 focal attention,CA 分别降低 0.0200 和 0.0480 nats per byte 的验证负对数似然,在全部配对比较中获胜;独立验证切片上较最强 softmax 基线优势 0.0457 nats per byte(含 95% 置信区间)。

来源:Reddit · r/LocalLLaMA · reddit.com