arXiv · cs.AI· M. Harper Langston·· 3 天前AI 评分26
学习优化器调度中的乘法与加法状态耦合研究
Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules
来源与原文
arXiv · cs.AI
作者:M. Harper Langston
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32801v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究通过反向传播展开的经典求解器,学习 MAX-CUT 连续罚松弛的调度。状态自适应的双线性(乘法)调度可分布外泛化,在 15 个种子上优于未训练基线(t=4.1);相同输入输出头的加法消融在分布内与双线性无统计差异,但分布外表现差于自身基线(t=-11.7)。该差异在 30 轮 weight-decay 扫描中持续存在,表明求解器状态进入调度的方式(而非状态自适应性本身)是与分布外迁移相关的架构区别。
来源:arXiv · cs.AI · arxiv.org