arXiv · cs.CL· Jintian Zhang·· 13 天前精选AI 评分54
Cortex：将上下文固化为参数化记忆的记忆巩固方法
Cortex: Consolidating Context into Parametric Memory
来源与原文
arXiv · cs.CL
作者：Jintian Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20399v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 Memory Consolidation 框架，将上下文带来的增益内化为参数记忆，同时保持非目标能力，并统一了上下文编辑、技能学习与行为引导三类任务。配套提出 Cortex 方法，通过生成前瞻性查询预测上下文用途，并将上下文条件输出蒸馏为可合并的低秩或结构化前馈网络更新。在 4B 至 120B 的稠密与 MoE 骨干（含纯文本与多模态模型）上，Cortex 在多数评测设置中处于巩固-保留 Pareto 前沿；对 14B 模型做 50 次连续事实编辑后，Cortex-Structural 恢复 88.9% 的上下文增益，同时保留 99.8% 的原始非目标性能。
推荐理由
论文给出了跨 4B 到 120B 多种骨干的实测数据，包括 50 次连续编辑后 88.9% 增益恢复与 99.8% 非目标保留率。
来源：arXiv · cs.CL · arxiv.org