跳到正文
10月26日周一
10月25日周日
  1. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

10月24日周六
  1. GitHub · 灵魂体仓库17

    Beamoaadvance 开源 llm-adaptive-learning:ICML 2025 论文的 LLM 动态环境自适应学习实现

    Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现,使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘,无需完整重训练即可轻量更新,在多类动态环境中较基线提升 16.8%-19.1%(如 Temporal Changes 场景从 69.8% 提至 88.9%)。项目采用 Apache 2.0 许可证。

  2. arXiv · cs.AI48

    面向多智能体系统的企业级 RAG 重构:先组织再检索的知识层

    一篇 arXiv 论文提出面向多智能体系统的企业 RAG 知识层,在检索前先组织知识。其七智能体逆向工程流水线处理 18 个服务的 241 个代码库,通过工件级本体、稀疏元数据注册表和超图导航,让查询解析到工件标识符从而约束向量搜索,实现结构性消歧。该层一周内建成,支持根因分析并解决 100+ 生产缺陷,定位 35 次发布回归失败。

  3. Reddit · r/LocalLLaMA59

    论文提出 Virtual Head Attention:同时压缩 KV cache 并降低训练与 prefill FLOPs

    PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention(VHA)论文,通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量,推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线(+0.05% 至 +0.81%),KV cache 相比 GQA-8 减少 4 倍;在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%,长上下文 RULER 平均分 84.4 对 GQA 的 73.0。

    推荐理由:论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据,KV cache 压缩和 FLOPs 降幅都有具体数字可查。

10月23日周五
  1. arXiv · cs.AI45

    ActionRAG:面向 LLM 智能体长期记忆的证据细化图扩散方法

    论文提出 ActionRAG,一种结合谨慎索引与查询时图回评的图记忆架构,通过双通道实体与三元组检索及查询条件扩散细化评分,为 LLM 智能体长期记忆恢复精确且一致的证据。在 MemoryAgentBench 上,ActionRAG 平均准确率达 55.1,比最强检索式记忆基线高 5.4 分;平均合成成本低于 $0.001 每次查询,检索侧 p99 分项之和为 440.7 ms。

  2. arXiv · cs.AI24

    WiMoT:基于矩传输的无回放持续 Wi-Fi 感知方法

    论文提出 WiMoT(Wi-Fi Moment Transport),通过存储各旧域类别的特征均值与协方差并对统计量做仿射变换传输,替代依赖样本回放的持续 Wi-Fi 感知。在 3DO、WiMANS、Widar3.0 上平均最终准确率分别为 94.02%、89.61%、95.16%,遗忘最多 0.58 pp,在 3DO 与 Widar3.0 上领先 21 个回放基线中最强者 3.77 和 13.11 pp。将协方差存储为 rank-32 因子可把矩内存压缩至 6.4%,精度损失最多 0.49 pp。

  3. arXiv · cs.AI41

    CauProphet:教 AI 智能体像人类一样发展因果认知

    研究者提出 CauProphet,一种能在因果认知中形成并持续更新因果知识的 LLM 智能体,每个任务将因果知识与当前证据结合构建 Causal Belief 用于决策。在金融研究任务中,其与次日收益的平均秩相关性较基线智能体提升 25.4%,动态真实场景预测准确率从 21.3% 提高到 28.6%。实验还验证了它在科学和日常任务中的可靠因果分析与行动选择能力。

  4. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  5. arXiv · cs.CL49

    4DMemory:用 Harness 增强智能体评测长时程时空记忆

    研究者提出 LongVideo 数据集与 4DMemoryBench 基准,用于评测长时程时空推理。LongVideo 包含约 900 小时视频和 5,000 多道人工审核问题;4DMemory Harness 集成 4 项互补技能、22+ 专用工具模型和模型专属 RAG 系统。评测 13 个领先模型发现,独立基础模型难以胜任长时程任务,而 Harness 使所有模型提升超 50%,且同一模型在 4DMemoryBench 上比较早基准下降超 10%。

  6. arXiv · cs.AI63

    MemCryst 论文提出记忆与技能双向学习的终身上下文适应框架

    Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。

    推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。

  7. arXiv · cs.CL33

    头维度影响语言模型的长上下文检索能力

    一项 arXiv 研究发现,在固定模型规模下,更宽的注意力头维度能提升长上下文检索性能,而预训练损失和短上下文非检索任务几乎不受影响。更宽的头拥有更高比例的检索头,将更多参数用于检索。即使冻结注意力模块的投影权重,继续预训练中检索性能仍随头宽提升,表明宽头还促进了嵌入向量和 MLP 等组件的有效适配。

  8. Reddit · r/LocalLLaMA30

    论文 PACE:线性注意力模型循环状态的 4-bit 周期性通道对齐量化

    论文提出 PACE,一种后置(post-hoc)4-bit 循环状态量化方法:它每隔若干 token 才做一次舍入并缓存中间 token,并按列共享量化 scale、对误差最大的 head 保留 8-bit。在 4B 到 35B 的四个混合模型上,混合 4/8-bit 的 PACE 以约三分之二的内存达到与 8-bit DAMP 相当的表现,全 4-bit 版本在同等内存下得分高于 Q-Mamba,并保持解码加速。

  9. arXiv · cs.CL36

    从噪声检索到决策证据:silver-evidence 示例提升 RAG 上下文学习

    研究提出 silver-evidence demonstrations,用 LLM 生成的目标条件证据摘要替换 ICL 示例中的原始检索段落,以过滤长噪声上下文中的干扰信息。在 EI 2.0、SciFact、合成政策检索和 HICRIC/IMR 四个数据集上,该方法在三个数据集上超过等规模的纯 gold ICL,在所有有标注数据集上提升证据 F1,并在四个数据集上的平均标签准确率均高于 InstructRAG 式 ICL。

  10. arXiv · cs.CL53

    arXiv 论文提出记忆感知奖励模型,学习 LLM 记忆使用的人类偏好

    一项 arXiv 研究(arXiv:2610.31272)收集了 87 名参与者约 1,000 条成对偏好判断,发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好,部分场景用户反而强烈偏好后者,自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率,超过现有基线,主张将记忆使用的评估与优化目标对齐到用户偏好。

    推荐理由:论文用用户自己的对话和记忆做偏好判断,指出记忆加入并不总被用户偏好,并给出可复用的记忆感知奖励模型方法。

  11. arXiv · cs.CL29

    语言 Agent 中记忆的价值:一个决策论框架

    一项 arXiv 研究提出决策论框架,刻画语言 Agent 中记忆从原始历史到持久状态、使用及有代价恢复与修订的价值链路,并以避免任务损失的单元度量价值。基于成本感知模拟条件与五个反例,论文揭示信息时序、检索访问、反馈与需求不确定性的作用,并指出零互信息的指针也能降低精确恢复成本。研究还在 LoCoMo 等诊断任务上展示保存、使用与度量方面的失败,给出记忆分配与恢复选项保留的可检验原则。

  12. arXiv · cs.CL55

    arXiv 论文提出 StateTrack-Bench 基准刻画长对话中的状态完整性崩塌

    研究者在长程对话中定义并量化“状态完整性崩塌”,即模型记住了约束却不再对后续轮次执行,并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间,forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘;Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文把长对话中记住了约束却不再执行的现象量化命名,88.6% 失败属行为漂移的发现对评测设计有参考价值。

  13. arXiv · cs.CL15

    长文档视觉问答的任务中心综述:分类体系、演进与未来方向

    该综述以任务为中心,将长文档视觉问答(VQA)分解为文档解析、证据组织与检索、生成器组织与学习、评估四个组件,并为每个组件建立细粒度分类体系。时间分析显示研究重心从多模态内容理解扩展到高保真证据获取与持续证据管理。作者展望了证据充分性、可验证可纠正的理解、预算感知协调及持续文档理解等未来方向。

  14. arXiv · cs.AI45

    HERD:面向持续学习的 Harness 演化递归蒸馏框架

    研究者提出 HERD(Harness-Evolving Recursive Distillation),一种混合持续学习框架:在 harness 中高效学习,并通过带双锚点的漂移约束知识蒸馏把经验内化为累积能力,抑制灾难性遗忘。在 TRACE+17 的 25 阶段任务流上,在固定内存与计算预算下,HERD 在新任务习得上匹敌最强参数化基线,同时遗忘最少、通用能力保持最好。

  15. arXiv · cs.AI27

    Jev-DLC:基于类型化反馈的决策级持续学习

    Jev-DLC 是一种从类型化反馈中学习用户偏好的决策级持续学习方法,把每次纠正同时视为动作身份证据和偏好-拒绝选择间的有向关系,存储在冻结打分器之上的两个有界通道中,不保留原始交互历史、不增加打分器调用、不做运行时语言模型反向传播。作者还提出按时序考核纠正对后续决策影响的 TCPA-Bench。在 TCPA-Repeat 上,Jev-DLC 达到 44.83% user-macro 准确率,比 Recent-4 历史回放高 2.43 个百分点;在至少两次早期反馈后达到 56.07%,领先最强对比方法 7.54 个百分点。

  16. arXiv · cs.AI23

    证据感知评估:真实标注如何影响乳腺病变 RAG 系统的检索得分

    一项研究提出面向乳腺病变管理文献的临床 RAG 系统证据感知检索评估协议。混合检索器(密集嵌入 + BM25 + cross-encoder 重排)采用 384-token 块、20% 重叠,在 18 个查询中 17 个于前三条结果检回认可证据,Recall@3、R-Precision、MRR@3 与 nDCG@3 均达 0.94。扩充真实标注使证据跨度从 25 增至 37、可接受块从 36 增至 51,但不改变检索排名,凸显得分对标注覆盖的敏感性。

  17. arXiv · cs.AI40

    METTA:面向元强化学习的记忆增强测试时自适应方法

    研究者提出元强化学习方法 METTA,将快速自适应分解为两个时间尺度:因果神经记忆以线性序列复杂度完成回合内细粒度自适应,紧凑的回合级摘要支持跨回合任务推断。在未见过的 Meta-World ML10/45 测试环境上,METTA 成功率超过 50%,且训练预算低、耗时短;在长上下文稀疏奖励 PointMaze 任务上,其探索行为比基于 transformer 的基线更有结构。

  18. GitHub · 3D 生成新仓库64

    Dynamic-Story-Graph 仓库用前缀因果约束审计小说叙事理解基准

    GIND123 发布 Dynamic-Story-Graph 仓库,要求系统只能依据引语之前的前缀文本做归属,并在每条数据上用代码强制该约束。审计发现 PDNC 上已发表的非因果方法的决定性线索对 29.3% 的显式引语位于引语之后,并用 Qwen2.5-7B-Instruct 给出首个前缀因果归属结果,因果代价为 +0.165。研究还测得 append-only 状态存储在真实小说上会让 9-42% 的单值槽位自相矛盾,全流程 231 项测试通过,无 LLM judge、无付费 API,全部表格可由已提交工件复现。

    推荐理由:以代码强制前缀因果约束重测 PDNC 引语归属基准,发现已发表方法依赖事后信息,并给出因果代价与状态污染的量化结果。

  19. arXiv · cs.CL45

    文档真实修订下的分块重算:测量固定、递归与内容定义分块的更新成本与检索质量

    一项 arXiv 研究在 120 对相邻中英文 Wikipedia 修订版本上测量 RAG 分块策略的更新成本,覆盖固定大小、递归和内容定义三种分块器。在 116 篇公共成功集合上,固定分块需重算 57-68% 的嵌入输入工作量,递归分块为 38-56%,内容定义分块为 43-54%;在 2048-token 检索预算下各方法的平均证据召回差异小于两个百分点。研究指出更新成本应与检索质量一同报告。

  20. arXiv · cs.CL43

    面向长期个性化 Web Agent 的主动偏好获取方法 APA 研究

    一项 arXiv cs.CL 研究提出主动偏好获取(APA),用未来任务期望累计收益减去询问成本与隐私风险的 Prospective Personalization Value 指标,决定 Web Agent 值得询问哪些用户偏好。在纵向基准 ActiveWebPref 上,20 个任务的视野下 APA 获取了 80.3% 依赖摊销的有价值缺失偏好,而仅看当前任务价值的方法只获取 5.1%,并以 27.6% 的问题恢复了全量询问 84.2% 的效用收益。

  21. arXiv · cs.CL53

    Delta N-gram 提出免反向传播的语言模型原生 N-gram 记忆持续写入方法

    Hao Wu 在 arXiv 发布 Delta N-gram 论文,提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径,预训练表 T^0 不被修改,写入只走前向传播,清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实,而在线梯度写入只保留 2-4/16;在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp,论文链接为 https://arxiv.org/abs/2610.31125v1。

    推荐理由:论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据,可与梯度写入方案直接比较。

  22. arXiv · cs.AI42

    ColaBench:评估个人智能体中记忆引导的知识获取

    研究者提出个人智能体基准 ColaBench,覆盖健康与日常生活场景,包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库,通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识,达到 86.25% Accuracy,平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。

10月22日周四
  1. arXiv · cs.CL51

    Uni-Mem 论文提出用统一在线强化学习联合优化智能体长期记忆构建与检索

    Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。

  2. arXiv · cs.CL50

    RAG 组合性研究:LASAGNA 框架揭示各组件收益无法简单叠加

    研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。

  3. arXiv · cs.CL41

    ALIAS:评估 LLM 编写 TLA+ 规范的性能与记忆化

    arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。

  4. arXiv · cs.CL52

    MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率

    arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。

    推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。

  5. arXiv · cs.AI46

    ThreadRAG:用图拓扑与能量驱动寻路保持 RAG 上下文一致性

    新框架 ThreadRAG 通过 Semantic Topology Mapper 将检索文档组织为保留上下文的语义节点并构建语义拓扑图,再由 Energy-Driven Pathfinding 经能量扩散定位相关子图并线性化为连贯文本证据路径。在三个多跳 QA 基准上,ThreadRAG 在 HotpotQA 上较文本中心方法提升 14.4% EM,在 2WikiMultihop 上超最佳基线 5.8% EM,同时 token 成本降至最强基线的 23.3%。

  6. arXiv · cs.AI49

    MOSAIC:面向对话智能体长期记忆与跨模态推理的全模态基准

    研究者推出 MOSAIC 基准,包含 923 个问题,覆盖 11-24 个会话的文本、图像、视频、音频人格化历史。该基准通过冻结问题、读取器、提示词与预算,对表示、检索、传递环节进行干预诊断,发现表示损失依赖模态、即使有金标准证据读取仍是主要瓶颈,且拒答能力弱。MOSAIC 将全模态记忆评测从排行榜转变为对写入、检索、传递、读取各环节失败的诊断。

  7. arXiv · cs.AI43

    SpatialBrain:从经验中生长空间智能

    arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。

  8. arXiv · cs.AI56

    PreCoMem:面向自进化长期对话智能体的预测性认知记忆框架

    研究者提出记忆整合框架 PreCoMem,将用户记忆表示为置信加权信念,用有效惊异度结合语义偏离与矛盾证据驱动三档确定性更新。该方法在 LoCoMo、LongMemEval-S 和 PersonaMem-v2 上取得一致最优准确率,新基准 DiMoBench 显示其能适应非平稳信念漂移而不对噪声过度反应,论文已被 NeurIPS 2026 接收,代码已开源。

    推荐理由:论文把记忆更新拆成置信加权信念加双阈值门控,区分噪声与真实漂移的思路可迁移到自己的长期对话系统。

  9. arXiv · cs.CL16

    OSynth:面向会议理解的纵向、上下文敏感评测数据集

    研究者提出 OSynth,一个模拟组织的大规模合成数据集,包含 570 小时会议音频、相关文档及潜在真实状态。人类评审基于 150-300 词片段,区分 OSynth 会议与真实会议转录的准确率仅 56%。测试显示,引入日历、以往会议等额外上下文可使多个 LLM 在实体敏感维度显著提升。

  10. arXiv · cs.CL48

    Signals and Queries:面向 LLM Agent 的省 token 上下文相关性过滤方法

    Parlant 4.0 引入轻量级第一阶段的 Signals and Queries(S&Q)相关性过滤器,可在下游评估前剔除至少 30% 候选策略并保持高召回,且每轮无需 LLM 调用。在覆盖 254 个 τ²-bench 对话前缀和 36 条航空公司策略的 9,144 个 LLM-judge 相关性标签上,S&Q 在所有召回水平下的精度均高于 top-K 和余弦阈值检索。该方法为面向客户的 Agent 降低下游评估成本提供了实用的第一级过滤方案。

  11. arXiv · cs.CL46

    面向 AI 智能体的以记忆为中心的持续学习(MCCL)框架

    研究者提出 Memory-Centric Continual Learning(MCCL),主张应依据记忆能否改善智能体未来行为而非仅凭检索效果来评估记忆。框架包含三部分:按存储基底、记忆资产和管理策略划分的三轴分类法与内外双循环生命周期;测量干扰下保持、变化适应和任务迁移的评估协议;以及刻画性能随经验、存储和计算预算扩展的记忆扩展框架,覆盖非参数与参数记忆,推动智能体记忆从被动检索转向持续学习。

10月21日周三
  1. Reddit · r/LocalLLaMA68

    MemT-1.0 记忆基础模型发布,将记忆内化为模型计算的一部分

    MemT-1.0 是一套把记忆内化为模型计算一部分的记忆基础模型架构,基于 Metis,采用 Gated DeltaNet-2 与逐 token 稳定记忆更新机制,并用 Mixture-of-Storage 扩展原生记忆容量,训练管线含继续预训练与后训练,共 34B token 数据。发布了 MemT-1.0-Nano 和 MemT-1.0-Flash,评测显示平均优于参数化记忆基线、与检索增强方法相当且大体保留通用能力;在 128K 历史长度下 Nano 端到端推理约 1.86× 加速、持久存储较全上下文 KV cache 减少 66 倍,并通过内化检索到的程序性经验提升 agentic 任务成功率。

    同一新闻,精选展示《MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力》