arXiv · cs.AI· Arnav Chavan·· 12 天前AI 评分50
Subspace Tuning：用子空间约束缓解 LLM 微调中的灾难性遗忘
Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
来源与原文
arXiv · cs.AI
作者：Arnav Chavan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22293v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Arnav Chavan 等人在 arXiv:2610.22293 提出 Subspace Tuning（SST），把每次权重更新限制在权重矩阵的底部奇异子空间，避免沿主奇异方向改动，以缓解微调带来的灾难性遗忘。该方法与优化器无关，可与 SFT 和自蒸馏组合；保护约 99% 的权重子空间能显著提升保留能力且保持目标任务性能，KL 漂移比基线低 2 到 4 倍，且模型和数据规模越大遗忘越少。
来源：arXiv · cs.AI · arxiv.org