arXiv · cs.AI· Anamaria-Roberta Hartl·· 8 天前AI 评分39
KronLSTM：基于 Kronecker Delta Rule 的长上下文线性注意力架构
Kronecker Delta Rule for Long Context Linear Attention
来源与原文
arXiv · cs.AI
作者：Anamaria-Roberta Hartl
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26834v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 KronLSTM，一种基于 Kronecker Delta Rule 的线性注意力架构，扩展 xLSTM 家族并引入记忆修正机制，仅沿矩阵空间单一方向修改记忆，减少对已存信息的干扰。其记忆动态可描述为收敛到稳态分布的 Markov chain，记忆矩阵范数全程一致有界，无需额外归一化机制。实验显示其性能与（Gated）DeltaNet 相当甚至更优，长上下文基准表现尤为突出，代码和模型已开源。
来源：arXiv · cs.AI · arxiv.org