arXiv · cs.AI· Mushir Akhtar·· 12 天前AI 评分47
Muon 究竟何时胜出？一项数据、时间与调参预算配对基准研究
When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
来源与原文
arXiv · cs.AI
作者：Mushir Akhtar
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21555v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 基准研究在单张 A100 GPU 上，以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%，20 组主要配对全部降低测试损失；但 Muon 优化器调用耗时占训练时间 56.1–69.6%，AdamW 仅 6.1–9.1%，时间归一后 Muon 在视觉任务上领先 19.68–22.31%，语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现，不能推广到更大模型或优化实现。
来源：arXiv · cs.AI · arxiv.org