CRIM:面向高效个性化检索的可组合、可复用条目记忆框架
研究者提出 CRIM 框架,将条目级语义编码与请求级历史建模分离,用可学习的 summary tokens 将条目压缩为紧凑连续记忆,并复用于跨请求的个性化检索。结合缓存记忆与少量实时重编码的联合训练机制,CRIM 在 MovieLens-1M、Qilin 及新数据集 LazSeq 上取得 SOTA 检索性能,同时显著降低推理成本。代码与数据集将公开发布。
新闻、仓库与研究,按时间排列。
研究者提出 CRIM 框架,将条目级语义编码与请求级历史建模分离,用可学习的 summary tokens 将条目压缩为紧凑连续记忆,并复用于跨请求的个性化检索。结合缓存记忆与少量实时重编码的联合训练机制,CRIM 在 MovieLens-1M、Qilin 及新数据集 LazSeq 上取得 SOTA 检索性能,同时显著降低推理成本。代码与数据集将公开发布。
StateLoop 在 Looped Transformer 基础上为每个 token 增加一个持久状态,通过学习门控在迭代间保留信息,并将更新后的状态加回主干输出。该设计降低了 Pile 困惑度,并在八项 zero-shot 任务上提升了平均准确率;对 Vanilla Looped 的困惑度优势随训练循环深度增加而扩大。
arXiv 论文提出 DecisionRAG,利用预训练语言模型的决策模型在一次前向传播中联合评估候选分支且不生成 token,无需检索器或任务特定训练即可浏览语料库结构完成检索。它在 MultiDoc2Dial 上比带 8B reranker 的稠密检索高 13.8 R@1,在 Natural Questions 上高 17.4 Hit@1。在含 268 万 Wikipedia 段落的四个基准上,每次查询检索仅需 0.7-1.8 秒。
论文提出 AgentMemRec,把智能体记忆选择形式化为预算化 slate 推荐,从推荐系统借鉴候选生成、排序与 slate 构造,全程零 LLM 调用。在 LongMemEval 多会话问题上比 A-Mem、HippoRAG 2、DynamicRAG、T-Mem 高 10 到 31 个百分点准确率,以 3.2 倍更低的服务成本比肩每查询 64 次 LLM 调用的重排器,并在 LoCoMo 上写入时零 LLM 调用超过 Mem0 和 Zep。
推荐理由:论文把智能体记忆选择形式化为预算化 slate 推荐,给出可复用的分阶段设计框架,并在 LongMemEval 等基准上量化了各组件贡献。
BehaviorMem 是一种面向电商行为日志的持续用户记忆方法,配套基准 BehaviorMemBench 覆盖 1,194 名用户、17,462 个行为批次、跨度超过三年。该基准用自动未来行为标签和任务无关的记忆接口,把“记住”与“推断”两种能力分开评估。实验显示 BehaviorMem 在两项能力上均领先被评估的 agentic 记忆方法,且不同方法在两项能力上排名存在差异,统计基线也具竞争力。
一项 arXiv 研究系统刻画了全双工语音对话模型在长会话中的性能退化,发现多款公开模型的响应性、语音内容质量和音色一致性随时间下降。研究者提出基于自蒸馏的 LoRA 轻量适配训练框架,并引入双分辨率上下文(TRC)架构,将旧交互历史压缩为 KV 表示。在三个不同架构模型上,LoRA 适配缓解了十分钟会话内的性能退化,加入 TRC 后效果可超出训练会话长度,且 KV-cache 增长减少超过 90%。
一项研究检验了保形事实性在 agentic RAG 中的表现,其中语言模型策略会自适应地发起后续检索查询或在生成回答前终止检索。研究在 GPT-6 Luna 和 Llama 3.1 8B 上评估 HotpotQA、Natural Questions 和 TriviaQA 六种配置,每配置 60 个固定问题、100 个种子分区、五个保形目标水平。95% 目标下,非空回答覆盖率介于 17.23% 到 60.17%,完整支持率介于 89.14% 到 95.56%,更高的目标水平伴随更高的完整支持率但更低的回答可用性。
研究者提出 AskGLP1,一个将在线患者叙述转为知识图谱并回答用药体验问题的 LLM 智能体。该系统基于 MedDRA 术语,从近 850 万条 Reddit 帖子中筛选出 163,135 条用药体验,结合 2,506 条 WebMD 评论,构建含 385,790 条药物-副作用与药物-用途关系的三元组。结果显示在线叙述与 FAERS 互为补充,且 tirzepatide 的恶心呕吐报告少于 semaglutide;智能体能提供可验证证据并拒绝医疗建议请求,代码与提示词已开源。
一项 XLand-MiniGrid 审计研究发现,LSTM 智能体对无记忆 MLP 的 25 个百分点优势,大部分来自知道时间步——回合在固定上限截断且奖励随时间衰减。分离训练 seed、地图与评估噪声的 60 次运行显示,"任务习得"二值判定中 76% 是评估噪声,检测 10 点差距需约 10 个配对 seed。给无记忆基线提供时间步后差距缩至 3.3 点内,作者已发布协议、工具与全部 checkpoint。
arXiv 论文 2610.33766 提出 StateWise,教单个 LLM 维护可修订的约束状态(含已撤销约束的墓碑标记),通过摘要、条件响应和精确回程检查自训练。在两个 backbone 上,StateWise 相比有监督自训练把 relapse 降低 8-22 个百分点,对话成功率较 backbone 提升 8-19 个百分点,且无需推理时脚手架就胜过 oracle 编译账本基线。论文还发现 Llama-3.1-8B 的有监督变体会让 relapse 约翻倍,因而加入偏好阶段,并评估了该方法对通用指令遵循基准的代价与权重插值缓解手段。
推荐理由:论文指出微调后的 7-8B 模型会精确追踪约束状态却不遵守,这一发现和用偏好阶段修复的思路有参考价值。
一篇 arXiv 论文提出面向多智能体系统的企业 RAG 知识层,在检索前先组织知识。其七智能体逆向工程流水线处理 18 个服务的 241 个代码库,通过工件级本体、稀疏元数据注册表和超图导航,让查询解析到工件标识符从而约束向量搜索,实现结构性消歧。该层一周内建成,支持根因分析并解决 100+ 生产缺陷,定位 35 次发布回归失败。
论文提出 ActionRAG,一种结合谨慎索引与查询时图回评的图记忆架构,通过双通道实体与三元组检索及查询条件扩散细化评分,为 LLM 智能体长期记忆恢复精确且一致的证据。在 MemoryAgentBench 上,ActionRAG 平均准确率达 55.1,比最强检索式记忆基线高 5.4 分;平均合成成本低于 $0.001 每次查询,检索侧 p99 分项之和为 440.7 ms。
论文提出 WiMoT(Wi-Fi Moment Transport),通过存储各旧域类别的特征均值与协方差并对统计量做仿射变换传输,替代依赖样本回放的持续 Wi-Fi 感知。在 3DO、WiMANS、Widar3.0 上平均最终准确率分别为 94.02%、89.61%、95.16%,遗忘最多 0.58 pp,在 3DO 与 Widar3.0 上领先 21 个回放基线中最强者 3.77 和 13.11 pp。将协方差存储为 rank-32 因子可把矩内存压缩至 6.4%,精度损失最多 0.49 pp。
研究者提出 CauProphet,一种能在因果认知中形成并持续更新因果知识的 LLM 智能体,每个任务将因果知识与当前证据结合构建 Causal Belief 用于决策。在金融研究任务中,其与次日收益的平均秩相关性较基线智能体提升 25.4%,动态真实场景预测准确率从 21.3% 提高到 28.6%。实验还验证了它在科学和日常任务中的可靠因果分析与行动选择能力。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。
推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。
研究者提出 LongVideo 数据集与 4DMemoryBench 基准,用于评测长时程时空推理。LongVideo 包含约 900 小时视频和 5,000 多道人工审核问题;4DMemory Harness 集成 4 项互补技能、22+ 专用工具模型和模型专属 RAG 系统。评测 13 个领先模型发现,独立基础模型难以胜任长时程任务,而 Harness 使所有模型提升超 50%,且同一模型在 4DMemoryBench 上比较早基准下降超 10%。
Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。
推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。
一项 arXiv 研究发现,在固定模型规模下,更宽的注意力头维度能提升长上下文检索性能,而预训练损失和短上下文非检索任务几乎不受影响。更宽的头拥有更高比例的检索头,将更多参数用于检索。即使冻结注意力模块的投影权重,继续预训练中检索性能仍随头宽提升,表明宽头还促进了嵌入向量和 MLP 等组件的有效适配。
研究提出 silver-evidence demonstrations,用 LLM 生成的目标条件证据摘要替换 ICL 示例中的原始检索段落,以过滤长噪声上下文中的干扰信息。在 EI 2.0、SciFact、合成政策检索和 HICRIC/IMR 四个数据集上,该方法在三个数据集上超过等规模的纯 gold ICL,在所有有标注数据集上提升证据 F1,并在四个数据集上的平均标签准确率均高于 InstructRAG 式 ICL。
一项 arXiv 研究(arXiv:2610.31272)收集了 87 名参与者约 1,000 条成对偏好判断,发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好,部分场景用户反而强烈偏好后者,自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率,超过现有基线,主张将记忆使用的评估与优化目标对齐到用户偏好。
推荐理由:论文用用户自己的对话和记忆做偏好判断,指出记忆加入并不总被用户偏好,并给出可复用的记忆感知奖励模型方法。
一项 arXiv 研究提出决策论框架,刻画语言 Agent 中记忆从原始历史到持久状态、使用及有代价恢复与修订的价值链路,并以避免任务损失的单元度量价值。基于成本感知模拟条件与五个反例,论文揭示信息时序、检索访问、反馈与需求不确定性的作用,并指出零互信息的指针也能降低精确恢复成本。研究还在 LoCoMo 等诊断任务上展示保存、使用与度量方面的失败,给出记忆分配与恢复选项保留的可检验原则。
研究者在长程对话中定义并量化“状态完整性崩塌”,即模型记住了约束却不再对后续轮次执行,并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间,forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘;Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。
推荐理由:论文把长对话中记住了约束却不再执行的现象量化命名,88.6% 失败属行为漂移的发现对评测设计有参考价值。
Ehsan Saleh 在 arXiv 发布 AfterDeleteBench,一种对固定权重 LLM Agent 删除记忆后信息残留的受控行为审计方法。实验显示 Qwen2.5-7B-Instruct 在单次查询下约三分之二的情况可恢复已删除的密文,未暴露对照组恢复为零;即使密文原串已删、只剩按公开组合规则分开存储的组件,Qwen、Mistral 和 Phi-3 仍能以 62-99% 的比例精确重建。来源感知的闭环(provenance-aware closure)消除了测试中的恢复现象,而精确字面写入过滤器只能阻止重插、无法清除已存在的信息。论文 25 页,含 7 图 12 表。
推荐理由:论文给出可复现的删除后信息残留审计方法和对照实验设计,对做 Agent 持久记忆的人有直接参考价值。
该综述以任务为中心,将长文档视觉问答(VQA)分解为文档解析、证据组织与检索、生成器组织与学习、评估四个组件,并为每个组件建立细粒度分类体系。时间分析显示研究重心从多模态内容理解扩展到高保真证据获取与持续证据管理。作者展望了证据充分性、可验证可纠正的理解、预算感知协调及持续文档理解等未来方向。
研究者提出 HERD(Harness-Evolving Recursive Distillation),一种混合持续学习框架:在 harness 中高效学习,并通过带双锚点的漂移约束知识蒸馏把经验内化为累积能力,抑制灾难性遗忘。在 TRACE+17 的 25 阶段任务流上,在固定内存与计算预算下,HERD 在新任务习得上匹敌最强参数化基线,同时遗忘最少、通用能力保持最好。
Jev-DLC 是一种从类型化反馈中学习用户偏好的决策级持续学习方法,把每次纠正同时视为动作身份证据和偏好-拒绝选择间的有向关系,存储在冻结打分器之上的两个有界通道中,不保留原始交互历史、不增加打分器调用、不做运行时语言模型反向传播。作者还提出按时序考核纠正对后续决策影响的 TCPA-Bench。在 TCPA-Repeat 上,Jev-DLC 达到 44.83% user-macro 准确率,比 Recent-4 历史回放高 2.43 个百分点;在至少两次早期反馈后达到 56.07%,领先最强对比方法 7.54 个百分点。
一项研究提出面向乳腺病变管理文献的临床 RAG 系统证据感知检索评估协议。混合检索器(密集嵌入 + BM25 + cross-encoder 重排)采用 384-token 块、20% 重叠,在 18 个查询中 17 个于前三条结果检回认可证据,Recall@3、R-Precision、MRR@3 与 nDCG@3 均达 0.94。扩充真实标注使证据跨度从 25 增至 37、可接受块从 36 增至 51,但不改变检索排名,凸显得分对标注覆盖的敏感性。
研究者提出元强化学习方法 METTA,将快速自适应分解为两个时间尺度:因果神经记忆以线性序列复杂度完成回合内细粒度自适应,紧凑的回合级摘要支持跨回合任务推断。在未见过的 Meta-World ML10/45 测试环境上,METTA 成功率超过 50%,且训练预算低、耗时短;在长上下文稀疏奖励 PointMaze 任务上,其探索行为比基于 transformer 的基线更有结构。
一项 arXiv 研究在 120 对相邻中英文 Wikipedia 修订版本上测量 RAG 分块策略的更新成本,覆盖固定大小、递归和内容定义三种分块器。在 116 篇公共成功集合上,固定分块需重算 57-68% 的嵌入输入工作量,递归分块为 38-56%,内容定义分块为 43-54%;在 2048-token 检索预算下各方法的平均证据召回差异小于两个百分点。研究指出更新成本应与检索质量一同报告。
一项 arXiv cs.CL 研究提出主动偏好获取(APA),用未来任务期望累计收益减去询问成本与隐私风险的 Prospective Personalization Value 指标,决定 Web Agent 值得询问哪些用户偏好。在纵向基准 ActiveWebPref 上,20 个任务的视野下 APA 获取了 80.3% 依赖摊销的有价值缺失偏好,而仅看当前任务价值的方法只获取 5.1%,并以 27.6% 的问题恢复了全量询问 84.2% 的效用收益。
Hao Wu 在 arXiv 发布 Delta N-gram 论文,提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径,预训练表 T^0 不被修改,写入只走前向传播,清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实,而在线梯度写入只保留 2-4/16;在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp,论文链接为 https://arxiv.org/abs/2610.31125v1。
推荐理由:论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据,可与梯度写入方案直接比较。
研究者提出个人智能体基准 ColaBench,覆盖健康与日常生活场景,包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库,通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识,达到 86.25% Accuracy,平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。
Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。
研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。
arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。
arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。
推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。
研究者提出 MHG-Mem,一种多模态超图记忆,联合组织实体身份、状态演化及到视觉证据的溯源,并以超图智能体搜索进行跨层遍历与细粒度验证。在三个 benchmark 上,MHG-Mem 较最强基线提升 8.20-9.98%。
新框架 ThreadRAG 通过 Semantic Topology Mapper 将检索文档组织为保留上下文的语义节点并构建语义拓扑图,再由 Energy-Driven Pathfinding 经能量扩散定位相关子图并线性化为连贯文本证据路径。在三个多跳 QA 基准上,ThreadRAG 在 HotpotQA 上较文本中心方法提升 14.4% EM,在 2WikiMultihop 上超最佳基线 5.8% EM,同时 token 成本降至最强基线的 23.3%。
研究者推出 MOSAIC 基准,包含 923 个问题,覆盖 11-24 个会话的文本、图像、视频、音频人格化历史。该基准通过冻结问题、读取器、提示词与预算,对表示、检索、传递环节进行干预诊断,发现表示损失依赖模态、即使有金标准证据读取仍是主要瓶颈,且拒答能力弱。MOSAIC 将全模态记忆评测从排行榜转变为对写入、检索、传递、读取各环节失败的诊断。
arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。