arXiv · cs.CL· Chen Henry Wu·· 24 天前精选AI 评分58
arXiv 论文提出 grafting 方法，证明离策略合并优于在策略自蒸馏的持续学习
Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning
来源与原文
arXiv · cs.CL
作者：Chen Henry Wu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.05872v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Chen Henry Wu 在 arXiv:2610.05872 提出名为 grafting 的持续学习方法：在更早的 donor checkpoint（理想情况下在预训练结束前）上学习新数据更新，再对 post-trained 模型施加缩放后的权重更新，并可对新数据分布偏离较大时屏蔽最敏感的更新方向。在专家轨迹蒸馏、STaR 与 Pedagogical RL 自我改进、预训练截止后知识注入三种设置下，grafting 在新任务和旧任务性能上 Pareto 优于 SFT 与 OPSD，且避免昂贵的在策略采样，挑战了在策略训练是 RL 训练模型持续学习必要条件的观点。
推荐理由
论文给出 grafting 配方在专家轨迹蒸馏、STaR 自我改进和知识注入三种场景的对比数据，可帮助读者选择持续学习方法。
来源：arXiv · cs.CL · arxiv.org