arXiv · cs.CL· Zhiyu Li·· 8 天前精选AI 评分66
MemT-1.0 记忆基础模型发布，将记忆内化为模型原生能力
MemT-1.0: Towards Memory-Native Evolution
来源与原文
arXiv · cs.CL
作者：Zhiyu Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26825v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究团队发布 MemT-1.0 记忆基础模型架构，基于 Metis 和 Gated DeltaNet-2，通过 Mixture-of-Storage 扩展原生记忆容量，采用继续预训练加后训练的两阶段训练流程，训练数据 34B tokens，提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当，在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减，论文链接 https://arxiv.org/abs/2610.26825v1。
推荐理由
原文给出记忆基础模型的架构设计、训练数据和评测对比，读者可以据此了解把记忆内化为模型计算的具体做法与代价。
来源：arXiv · cs.CL · arxiv.org