AfterDeleteBench 论文审计 LLM Agent 删除记忆后的信息残留
Ehsan Saleh 在 arXiv 发布 AfterDeleteBench,一种对固定权重 LLM Agent 删除记忆后信息残留的受控行为审计方法。实验显示 Qwen2.5-7B-Instruct 在单次查询下约三分之二的情况可恢复已删除的密文,未暴露对照组恢复为零;即使密文原串已删、只剩按公开组合规则分开存储的组件,Qwen、Mistral 和 Phi-3 仍能以 62-99% 的比例精确重建。来源感知的闭环(provenance-aware closure)消除了测试中的恢复现象,而精确字面写入过滤器只能阻止重插、无法清除已存在的信息。论文 25 页,含 7 图 12 表。
推荐理由:论文给出可复现的删除后信息残留审计方法和对照实验设计,对做 Agent 持久记忆的人有直接参考价值。