arXiv · cs.CL· Haodong Wen·· 6 天前AI 评分47
数据计划与学习率计划应协同设计：LLM mid-training 数据混合调度研究
Data Schedules and Learning Rate Schedules Should Be Designed Together
来源与原文
arXiv · cs.CL
作者：Haodong Wen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29348v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究将 LLM mid-training（MT）从预训练（PT）数据的完全切换视为数据混合调度的一种特例，发现在固定总算力和 MT token 预算下，哪种数据调度最优取决于学习率（LR）调度：LR 持续衰减时提前引入并混合 MT 数据可降低最终 MT loss，而恒定 LR 下结论相反。消融实验表明，仅在 MT 数据进入训练后再衰减 LR 效果更好，作者还提出了解释该现象的理论模型。
来源：arXiv · cs.CL · arxiv.org