跳到正文
arXiv · cs.AI· Shangheng Du·· 12 天前精选AI 评分69

MLExpert 论文提出后训练方法,将 35B MoE 模型训练为自主机器学习工程智能体

MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

来源与原文

arXiv · cs.AI

作者:Shangheng Du

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.22344v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出面向长时程自主机器学习工程优化的后训练方法,训练出 35B Mixture-of-Experts 智能体模型 MLExpert。方法包括构建可执行任务的 Kaggle-MLE Factory、层级 agentic SFT,以及将两次实验结果之间的多轮决策作为一个执行窗口并赋予共享结果奖励的 Windowed Interaction RL(WIRL)。在 MLE-Bench Lite 上,MLExpert 将基座模型平均奖牌率从 37.9% 提升到 72.7%,达到与 Kimi-K3、GLM-5.3 等更大前沿模型相当的水平,并在 NatureBench Lite、agent scaffold 优化和算法优化上显示能力可泛化。

推荐理由

论文展示了用层级SFT加窗口化RL把35B模型训练成自主机器学习工程智能体的完整后训练方法,MLE-Bench Lite数字可作参考。

来源:arXiv · cs.AI · arxiv.org