arXiv · cs.CL· Hongru Cai·· 19 天前精选AI 评分53
EngramEdit：通过条件记忆实现 LLM 解耦知识更新
EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
来源与原文
arXiv · cs.CL
作者：Hongru Cai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10533v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Hongru Cai 等人提出 EngramEdit，通过条件记忆架构（如 DeepSeek Engram）实现解耦的 LLM 事实知识更新，保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示，再联合更新共享 n-gram 嵌入，并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美，更新后的知识可用于未见表达和多跳推理，CoT 提示下准确率接近最强基线的三倍，且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1
推荐理由
论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法，CoT 场景准确率约为最强基线的三倍。
来源：arXiv · cs.CL · arxiv.org