arXiv · cs.CL· Hao Wu·· 4 天前精选AI 评分53
Delta N-gram 提出免反向传播的语言模型原生 N-gram 记忆持续写入方法
Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
来源与原文
arXiv · cs.CL
作者：Hao Wu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31125v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Hao Wu 在 arXiv 发布 Delta N-gram 论文，提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径，预训练表 T^0 不被修改，写入只走前向传播，清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实，而在线梯度写入只保留 2-4/16；在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp，论文链接为 https://arxiv.org/abs/2610.31125v1。
推荐理由
论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据，可与梯度写入方案直接比较。
来源：arXiv · cs.CL · arxiv.org