跳到正文
Reddit · r/LocalLLaMA· /u/pmttyji·· 6 天前同新闻AI 评分68

MemT-1.0 记忆基础模型发布,将记忆内化为模型计算的一部分

[Paper] MemT-1.0: Towards Memory-Native Evolution

来源与原文

Reddit · r/LocalLLaMA

作者:/u/pmttyji

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xbl751/paper_memt10_towards_memorynative_evolution/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

MemT-1.0 是一套把记忆内化为模型计算一部分的记忆基础模型架构,基于 Metis,采用 Gated DeltaNet-2 与逐 token 稳定记忆更新机制,并用 Mixture-of-Storage 扩展原生记忆容量,训练管线含继续预训练与后训练,共 34B token 数据。发布了 MemT-1.0-Nano 和 MemT-1.0-Flash,评测显示平均优于参数化记忆基线、与检索增强方法相当且大体保留通用能力;在 128K 历史长度下 Nano 端到端推理约 1.86× 加速、持久存储较全上下文 KV cache 减少 66 倍,并通过内化检索到的程序性经验提升 agentic 任务成功率。

同一新闻,精选展示《MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力》

来源:Reddit · r/LocalLLaMA · reddit.com