研究者提出持续正交投影遗忘方法COP

Juan Belieni 在 arXiv 论文（2610.40483）中提出持续正交投影（COP），一种用于大语言模型持续遗忘的梯度投影方案：将每次遗忘更新限制在先前遗忘集缓存激活子空间的正交补内，可保证与早期删除一阶不干扰。该方法每层仅存储低秩基，不需要历史梯度或过往遗忘集，可直接接入基于可微损失的遗忘方法。论文称在 TOFU 和 RWKU 基准上的实验显示，COP 在序列化遗忘请求中保持模型效用，且遗忘效果优于持续遗忘基线。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。