跳到正文
GitHub · 灵魂体仓库·· 9 天前AI 评分33

LEGA:长度校准的证据门控注意力机制研究

183600/lega-attention

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/183600/lega-attention

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

LEGA(Length-calibrated Evidence-Gated Attention)提出一种注意力门控方法,让同一个门同时参考查询向量、注意力分布集中度和上下文长度,在注意力头找不到可靠信息时减少向残差流写入无关内容。相比仅看查询的输出门控和显式空注意力,LEGA 通过 b·log n 长度校准项解耦“读得集中”与“读得长”的混淆,每头仅新增 d_head+3 个参数。项目在 WikiText-103 上实现了 9 个变体(含去一法消融)的全因子对比,配备多种子统计检验、Holm 校正、基线调优与数据防泄漏审计。

来源:GitHub · 灵魂体仓库 · github.com