热点事件持续更新

论文提出Dynamic Wave递归层：混合配置困惑度最优，效率优势取决于实现

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

Dmytro Babarytskyi 在 arXiv（2610.39854）发布论文，将基于输入相关指数阻尼与余弦相位调制的 Dynamic Wave 递归层形式化，并在 TinyStories 上评测了三种 10.94M 参数配置：Pure Transformer、Pure Wave 和 Hybrid Wave-Attention。结果显示 Hybrid 配置困惑度最优，在完整保留集上为 5.95，优于 Transformer 的 6.93 和 Pure Wave 的 7.26。效率差异主要取决于实现而非架构：Pure Wave 相对未融合 attention 基线在 4096-token 上下文下峰值 VRAM 降低 78.7%，但与融合 SDPA kernel 相比无优势，训练时反而贵 8.3%；混合栈的峰值 VRAM 与 Pure Transformer 相差不到 0.1%。

AI 根据报道生成 · 47 分钟前更新

最新进展10月29日 19:33

语言模型中的 Attention、Dynamic Wave 与混合序列混合器研究

报道时间线

沿着报道，了解事件的不同侧面。

10月29日

19:33
arXiv · cs.CL
语言模型中的 Attention、Dynamic Wave 与混合序列混合器研究
一项研究将基于输入相关指数阻尼与余弦相位调制的 Dynamic Wave 循环层形式化，在 TinyStories 上评测了三种 10.94M 参数配置。Hybrid 配置困惑度最优，在完整保留集上为 5.95，优于 Transformer 的 6.93 和 Pure Wave 的 7.26。效率差异主要取决于实现而非架构：Pure Wave 相对未融合 attention 基线在 4096-token 上下文下峰值 VRAM 降低 78.7%，但与融合 SDPA kernel 相比无优势，训练时反而贵 8.3%，混合栈的峰值 VRAM 与 Pure Transformer 相差不到 0.1%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。