arXiv · cs.AI· Hwiyeong Lee·· 21 天前AI 评分31
学习方式如何决定遗忘:跨记忆-泛化谱系的机器遗忘研究
How Learning Governs Unlearning across the Memorization-Generalization Spectrum
来源与原文
arXiv · cs.AI
作者:Hwiyeong Lee
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.08577v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该 arXiv 论文研究模型的学习方式如何影响其后续遗忘(unlearning)效果。作者用 modular addition 的 grokking 现象区分记忆主导与泛化主导的模型,发现泛化主导模型在遗忘时 retain set 性能损失更大,且这一趋势在引入 bucketed modular addition 后近乎单调成立,并在 LLM 的 verbatim 与事实召回遗忘场景中同样得到验证。论文据此给出两条改进遗忘方法的实践建议,强调需将学习动态纳入遗忘设计。
来源:arXiv · cs.AI · arxiv.org