arXiv · cs.CL· Sin-Han Yang·· 21 天前AI 评分43
重新审视模型合并：任务算术诱导的隐式正则化再思考
A Broader Look at Model Merging: Rethinking Implicit Regularization Induced by Task Arithmetic
来源与原文
arXiv · cs.CL
作者：Sin-Han Yang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.07990v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 预印本研究发现，现有模型合并方法中通过系数搜索形成的隐式正则化将候选模型限制在任务特定权重更新张成的子空间内。实验显示，去掉该限制、直接优化合并后模型权重，能在多种架构和领域（含每类仅一个样本的极端数据受限场景）显著提升常见合并方法的性能，甚至优于部分现有方法，且直接优化预训练权重也能超越一些方法。研究呼吁重新审视现有模型合并流程，更广泛地探索权重空间。
来源：arXiv · cs.CL · arxiv.org