跳到正文
arXiv · cs.AI· Hwiyeong Lee·· 21 天前AI 评分31

学习方式如何决定遗忘:跨记忆-泛化谱系的机器遗忘研究

How Learning Governs Unlearning across the Memorization-Generalization Spectrum

来源与原文

arXiv · cs.AI

作者:Hwiyeong Lee

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.08577v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该 arXiv 论文研究模型的学习方式如何影响其后续遗忘(unlearning)效果。作者用 modular addition 的 grokking 现象区分记忆主导与泛化主导的模型,发现泛化主导模型在遗忘时 retain set 性能损失更大,且这一趋势在引入 bucketed modular addition 后近乎单调成立,并在 LLM 的 verbatim 与事实召回遗忘场景中同样得到验证。论文据此给出两条改进遗忘方法的实践建议,强调需将学习动态纳入遗忘设计。

来源:arXiv · cs.AI · arxiv.org