Reddit · r/LocalLLaMA· /u/pmttyji·· 4 天前AI 评分39
论文提出 Continuum Attention:用连续积分替代离散 lookup 的注意力算子
[Paper] Continuum Attention
来源与原文
Reddit · r/LocalLLaMA
作者:/u/pmttyji
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdhzi2/paper_continuum_attention/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Continuum Attention(CA),一种将离散 key/value 查找替换为连续分段线性记忆曲线积分的因果 Transformer 注意力算子,可通过不超过二阶的矩解析求梯度并支持并行 GPU 实现,保持二次序列复杂度。相比 softmax 与 focal attention,CA 分别降低 0.0200 和 0.0480 nats per byte 的验证负对数似然,在全部配对比较中获胜;独立验证切片上较最强 softmax 基线优势 0.0457 nats per byte(含 95% 置信区间)。
来源:Reddit · r/LocalLLaMA · reddit.com