arXiv · cs.CL· Dmytro Babarytskyi·· 19 小时前AI 评分37
语言模型中的 Attention、Dynamic Wave 与混合序列混合器研究
Attention, Dynamic Wave and Hybrid Sequence Mixers in Language Models
来源与原文
arXiv · cs.CL
作者：Dmytro Babarytskyi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39854v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究将基于输入相关指数阻尼与余弦相位调制的 Dynamic Wave 循环层形式化，在 TinyStories 上评测了三种 10.94M 参数配置。Hybrid 配置困惑度最优，在完整保留集上为 5.95，优于 Transformer 的 6.93 和 Pure Wave 的 7.26。效率差异主要取决于实现而非架构：Pure Wave 相对未融合 attention 基线在 4096-token 上下文下峰值 VRAM 降低 78.7%，但与融合 SDPA kernel 相比无优势，训练时反而贵 8.3%，混合栈的峰值 VRAM 与 Pure Transformer 相差不到 0.1%。
来源：arXiv · cs.CL · arxiv.org