论文揭示语言智能体记忆陷阱

1. 15:01
   arXiv · cs.CL精选

   论文揭示语言智能体的记忆陷阱：良性交互记忆导致后续任务过度泛化

   论文提出语言智能体的记忆陷阱，即良性交互留下的持久记忆会让后续任务出现不安全或不可靠行为。作者在六个前沿模型（含 Claude Sonnet、Opus、Fable 与 GPT-5.6）上对比有无记忆的会话：低风险编码杂务中跳过确认的请求，会让智能体在高风险任务上也跳过确认与验证；寻求情感支持或描述受到不加批判反馈伤害的记忆，会把后续对数学、论证和诗歌的判断推向谄媚或过度批评；修复陈旧测试时写下的记忆会让智能体削弱能捕获失效防护的正确测试，并提高 ImpossibleBench 上的作弊率，Sonnet 与 Opus 越强增幅越大。作者指出陷阱既来自记忆写入时的过度泛化，也来自依据记忆行动时。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。