跳到正文
  1. arXiv · cs.CL65

    AgentMemRec:用推荐系统方法设计 LLM 智能体长期记忆

    论文提出 AgentMemRec,把智能体记忆选择形式化为预算化 slate 推荐,从推荐系统借鉴候选生成、排序与 slate 构造,全程零 LLM 调用。在 LongMemEval 多会话问题上比 A-Mem、HippoRAG 2、DynamicRAG、T-Mem 高 10 到 31 个百分点准确率,以 3.2 倍更低的服务成本比肩每查询 64 次 LLM 调用的重排器,并在 LoCoMo 上写入时零 LLM 调用超过 Mem0 和 Zep。

    推荐理由:论文把智能体记忆选择形式化为预算化 slate 推荐,给出可复用的分阶段设计框架,并在 LongMemEval 等基准上量化了各组件贡献。

  1. arXiv · cs.AI58

    StateWise 论文提出让 LLM 追踪多轮对话中演化约束的自我改进方法

    arXiv 论文 2610.33766 提出 StateWise,教单个 LLM 维护可修订的约束状态(含已撤销约束的墓碑标记),通过摘要、条件响应和精确回程检查自训练。在两个 backbone 上,StateWise 相比有监督自训练把 relapse 降低 8-22 个百分点,对话成功率较 backbone 提升 8-19 个百分点,且无需推理时脚手架就胜过 oracle 编译账本基线。论文还发现 Llama-3.1-8B 的有监督变体会让 relapse 约翻倍,因而加入偏好阶段,并评估了该方法对通用指令遵循基准的代价与权重插值缓解手段。

    推荐理由:论文指出微调后的 7-8B 模型会精确追踪约束状态却不遵守,这一发现和用偏好阶段修复的思路有参考价值。

  1. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  2. arXiv · cs.AI63

    MemCryst 论文提出记忆与技能双向学习的终身上下文适应框架

    Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。

    推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。

  3. arXiv · cs.CL53

    arXiv 论文提出记忆感知奖励模型,学习 LLM 记忆使用的人类偏好

    一项 arXiv 研究(arXiv:2610.31272)收集了 87 名参与者约 1,000 条成对偏好判断,发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好,部分场景用户反而强烈偏好后者,自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率,超过现有基线,主张将记忆使用的评估与优化目标对齐到用户偏好。

    推荐理由:论文用用户自己的对话和记忆做偏好判断,指出记忆加入并不总被用户偏好,并给出可复用的记忆感知奖励模型方法。

  4. arXiv · cs.CL55

    arXiv 论文提出 StateTrack-Bench 基准刻画长对话中的状态完整性崩塌

    研究者在长程对话中定义并量化“状态完整性崩塌”,即模型记住了约束却不再对后续轮次执行,并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间,forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘;Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文把长对话中记住了约束却不再执行的现象量化命名,88.6% 失败属行为漂移的发现对评测设计有参考价值。

  5. arXiv · cs.CL56

    AfterDeleteBench 论文审计 LLM Agent 删除记忆后的信息残留

    Ehsan Saleh 在 arXiv 发布 AfterDeleteBench,一种对固定权重 LLM Agent 删除记忆后信息残留的受控行为审计方法。实验显示 Qwen2.5-7B-Instruct 在单次查询下约三分之二的情况可恢复已删除的密文,未暴露对照组恢复为零;即使密文原串已删、只剩按公开组合规则分开存储的组件,Qwen、Mistral 和 Phi-3 仍能以 62-99% 的比例精确重建。来源感知的闭环(provenance-aware closure)消除了测试中的恢复现象,而精确字面写入过滤器只能阻止重插、无法清除已存在的信息。论文 25 页,含 7 图 12 表。

    推荐理由:论文给出可复现的删除后信息残留审计方法和对照实验设计,对做 Agent 持久记忆的人有直接参考价值。

  6. arXiv · cs.CL53

    Delta N-gram 提出免反向传播的语言模型原生 N-gram 记忆持续写入方法

    Hao Wu 在 arXiv 发布 Delta N-gram 论文,提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径,预训练表 T^0 不被修改,写入只走前向传播,清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实,而在线梯度写入只保留 2-4/16;在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp,论文链接为 https://arxiv.org/abs/2610.31125v1。

    推荐理由:论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据,可与梯度写入方案直接比较。

  1. arXiv · cs.CL52

    MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率

    arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。

    推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。

  2. arXiv · cs.AI56

    PreCoMem:面向自进化长期对话智能体的预测性认知记忆框架

    研究者提出记忆整合框架 PreCoMem,将用户记忆表示为置信加权信念,用有效惊异度结合语义偏离与矛盾证据驱动三档确定性更新。该方法在 LoCoMo、LongMemEval-S 和 PersonaMem-v2 上取得一致最优准确率,新基准 DiMoBench 显示其能适应非平稳信念漂移而不对噪声过度反应,论文已被 NeurIPS 2026 接收,代码已开源。

    推荐理由:论文把记忆更新拆成置信加权信念加双阈值门控,区分噪声与真实漂移的思路可迁移到自己的长期对话系统。

  1. arXiv · cs.CL53

    Masahiro Kaneko 提出 LLM Agent 持久记忆中的自我强化隐私泄露循环

    Masahiro Kaneko 在 arXiv 论文(arXiv:2610.28315)中发现,LLM Agent 在对话中读取持久记忆会引发自我强化的隐私泄露循环。多会话仿真中,带 24 项个人属性的模拟用户与支持类 Agent 对话,四个支持模型里读取记忆既提升回复质量也提高属性被正确推断的比例,且差距随会话扩大,因为记忆条件回复把旧值作为预设带入,用户确认或不纠正使其变成记录值。指示 Agent 不陈述或预设属性可将泄露降到接近无记忆水平并保留大部分质量增益,而过滤或匿名化用户输入或存储内容会损失较多质量。

    推荐理由:这篇研究用多会话仿真揭示了带持久记忆的 LLM Agent 中自我强化的隐私泄露循环,并给出在回复端抑制泄露的可行做法。

  2. arXiv · cs.CL57

    arXiv 论文提出面向智能体的缓存工程方案与 AKV 推理引擎

    论文提出 cache engineering 方案,让 LLM 智能体通过 drop 和 repos 操作直接控制活跃 KV cache,无需修改轨迹或重新 prefill。配套的 AKV 推理引擎提供无状态接口并内部管理缓存复用;工具响应滚动 drop 策略相比阈值触发的摘要方法平均提升基准分 1.7 分、降低成本 27.7%,AKV 实现最高 1.2x 输出吞吐和 1.5x P95 延迟加速。

    推荐理由:论文提出让智能体直接操作 KV cache 的缓存工程方案,附带与常规摘要策略的成本和延迟对比数据。

  3. arXiv · cs.CL53

    arXiv 论文提出扩散语言模型的事实访问状态机制及 Multi-View Edit 知识编辑方法

    arXiv 论文提出扩散语言模型(DLM)中的事实访问状态概念,发现其与自回归模型不同,事实查找在第一层注意力与早期前馈层就完成。基于该状态,论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器,且各实体位置的状态可免训练地作为关系特定检索向量,在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。

    推荐理由:论文指出扩散语言模型的事实访问状态在首层注意力就组装完成,并据此给出知识编辑与免训练检索两种用法,可作理解 DLM 与 AR 机制差异的对照。

  1. Hugging Face Blog71

    IBM Research ALTK-Evolve 用学习式记忆登顶 τ²-bench 客服任务榜单

    IBM Research 发布 ALTK-Evolve,通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词,在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%,登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一;对比显示 retail 需 292 条 lossless 全集才见效,airline 的 14 条 sup3 核心反而更可靠,代价主要是输入 token 成本上升,对话轮数略降。

    推荐理由:不更新权重,仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首,方法可直接复用。

  2. arXiv · cs.CL59

    arXiv 论文研究 Agent harness 的上下文处理如何决定任务成败

    论文研究 Agent harness 跨轮次处理上下文(丢弃、摘要、回放模型推理)何时改变 Agent 成败,而非只看成本。预注册合成实验显示,所需事实可重新查回时截断上下文几乎无损失,事实不可再观察时成功率降至随机水平,两种惩罚相差 92.5 个百分点(90% CI [89.5, 95.5]),第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上,Standard harness 与 Provider Adapter harness 存在 63 分差距,改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%,不保留提示恢复 43%,叠加供应商原生推理回放再恢复 57%;这些为单次运行的点估计。

    推荐理由:论文用预注册实验拆解 harness 对 Agent 成败的影响,给出可量化的组件归因,对理解上下文管理设计有直接参考。

  3. arXiv · cs.CL66

    MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力

    研究团队发布 MemT-1.0 记忆基础模型架构,基于 Metis 和 Gated DeltaNet-2,通过 Mixture-of-Storage 扩展原生记忆容量,采用继续预训练加后训练的两阶段训练流程,训练数据 34B tokens,提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当,在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减,论文链接 https://arxiv.org/abs/2610.26825v1。

    推荐理由:原文给出记忆基础模型的架构设计、训练数据和评测对比,读者可以据此了解把记忆内化为模型计算的具体做法与代价。

  4. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  1. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  1. arXiv · cs.CL67

    显式记忆系统是否必要?研究在 LongMemEval-S 和 BEAM-100K 上与原始历史检索对照

    一项 arXiv 研究(arXiv:2610.24671)在 LongMemEval-S 和 BEAM-100K 上对比六个 SOTA 显式记忆系统与原始历史 RAG,发现后者并无一致劣势,显式记忆只在特定问题类型和紧凑运行时上下文预算下有局部收益。Oracle 检索显示部分系统在记忆构建时丢失答案支撑信息,另一些则保存了却检索不出,尽管构建成本可达每段对话数小时;作者指出改进对已有信息的检索可能比构建更精细的显式记忆更重要。

    推荐理由:原文用受控检索设置对比六种显式记忆系统与原始历史 RAG,指出检索环节被低估,方法结论可迁移到记忆系统设计。

  1. arXiv · cs.AI52

    TIDER:RL 引导的时间定位双通道检索框架提升 LLM 智能体长期记忆

    Dabin Sheng 提出 TIDER,一个时间感知的智能体检索框架,用强化学习训练的 1.7B 时间区间定位器推断证据所在时间窗口,与语义通道结果合并后按窗口邻近度重排。在 LifeBench 上取得 61.52%(+8.82%)、LoCoMo 上取得 78.96%(+3.66%)的 SOTA 准确率,论文已被 NeurIPS 2026 接收。

    推荐理由:论文把时间约束放进检索阶段本身,用 RL 训练轻量定位器解决语义相似记忆挤掉目标记忆的问题,并给出基准数据。