arXiv · cs.AI· Shuoran Jiang·· 12 天前AI 评分44
LLM 功能子网络定位：CiMEO 框架实现高效持续学习
Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models
来源与原文
arXiv · cs.AI
作者：Shuoran Jiang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21537v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Function-isolated Memory-Efficient Optimization（CiMEO）持续学习框架，通过梯度归因分析定位 LLM 中认知相关的功能子网络，将训练样本路由至对应子网络，把参数更新和优化器状态限制在选定区域。在 140 万条顺序指令上，CiMEO 在覆盖编程、考试型任务和数学推理的五个生成式 benchmark 中取得对比方法的最高平均性能，同时缓解灾难性遗忘。子空间重叠与主角度分析表明局部化更新有助于保留预训练表征。
来源：arXiv · cs.AI · arxiv.org