MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率
arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。
推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。