跳到正文
  1. arXiv · cs.CL66

    MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力

    研究团队发布 MemT-1.0 记忆基础模型架构,基于 Metis 和 Gated DeltaNet-2,通过 Mixture-of-Storage 扩展原生记忆容量,采用继续预训练加后训练的两阶段训练流程,训练数据 34B tokens,提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当,在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减,论文链接 https://arxiv.org/abs/2610.26825v1。

    推荐理由:原文给出记忆基础模型的架构设计、训练数据和评测对比,读者可以据此了解把记忆内化为模型计算的具体做法与代价。

  1. Hugging Face · 趋势模型70

    MemTensor 发布记忆基础模型 MemT-1.0 系列,Nano 版权重以 Apache 2.0 开放

    MemTensor 在 Hugging Face 发布记忆基础模型 MemT-1.0 系列,含基于 Qwen3.6-35B-A3B 的 Nano(36B 总参数、3B 激活)和基于 DeepSeek-V4-Flash 的 Flash(288B 总参数、17B 激活),Nano 权重以 Apache License 2.0 开放。模型将动态本地记忆与可训练超记忆内置到模型计算中,推理时无需访问原始上下文,128K 历史长度下持久状态大小恒定、存储约为全上下文 KV cache 的 1/66;在 11 项记忆基准上 Flash 和 Nano 在参数化记忆方法中分列第一、第二。

    推荐理由:模型卡给出了记忆架构设计、两阶段训练流程和11项记忆基准的排名,适合想了解参数化记忆方案落地方式的读者。

已经到底了