arXiv · cs.AI· Yuyang Zhang·· 24 天前AI 评分35
遗忘的热带几何视角：面向知识保持微调的逐单元投影器
A Tropical Geometry View of Forgetting: A Per-Unit Projector for Knowledge-Preserving Fine-Tuning
来源与原文
arXiv · cs.AI
作者：Yuyang Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.04670v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文用 ReLU 层的热带几何解释了 Adam-NSCL、GPM 等无回放投影器共享子空间约束过粗的原因，并提出门控感知的逐单元投影器。在 OPT-1.3b 上，该方法在 9 到 60 个约束方向/行的全部六个匹配预算下遗忘均低于 Adam-NSCL，差距从 1.1 倍扩大到 4.3 倍，仅用 1/5.5 的方向即在 GPM 能量阈值下将遗忘减半；在 OPT-6.7b 上以相同预算匹配 Adam-NSCL 且学到更多。
来源：arXiv · cs.AI · arxiv.org