arXiv · cs.CL· Anton Baumann·· 23 天前AI 评分44
Task Vector Descent：从非 IID 批次中学习的研究
Task Vector Descent: Learning from Non-IID Batches
来源与原文
arXiv · cs.CL
作者：Anton Baumann
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05402v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究针对语言模型持续学习中数据按时间聚簇（非 IID）导致的稳定性-可塑性权衡，提出对 task vector 按 λ 部分缩放后再应用，并同步缩放 optimizer state。在持续预训练、随机初始化预训练、监督后训练与强化后训练等场景中，中间 λ 值常优于完全应用（λ=1），且该收益无法仅靠调学习率复现。
来源：arXiv · cs.CL · arxiv.org