arXiv · cs.AI· Vedant Jumle·· 19 天前精选AI 评分60
arXiv 论文检验激活转向向量当记忆时什么能留存
What Survives When Activation Steering Is Used as Memory
来源与原文
arXiv · cs.AI
作者:Vedant Jumle
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.14958v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.14958 用免训练的激活记忆在冻结 LLM 旁测试把过往经历存为转向向量的假设,在 Qwen3.5-2B 和 9B 上做预注册研究,并由四个模型家族的裁判评估。结果是记忆有选择性(约 98% 无关回复不受影响),但事实只在最后几层以“该说哪个词”的形式存储,几乎不被使用(干净使用最多 15%,对比上下文中的 96-98%),倾向迁移只在很窄的强度窗口内有效。最关键的是写入偏好时减去的参照决定存的是概念还是方向:不减相反项时,存储的“不喜欢”会被召回成“喜欢”。
推荐理由
论文给出预注册实验数据,说明激活转向作为记忆时哪些内容能留存、哪些几乎失效,对记忆系统设计有直接参考。
来源:arXiv · cs.AI · arxiv.org