Reddit · r/LocalLLaMA· /u/pmttyji·· 6 天前同新闻AI 评分68
MemT-1.0 记忆基础模型发布,将记忆内化为模型计算的一部分
[Paper] MemT-1.0: Towards Memory-Native Evolution
来源与原文
Reddit · r/LocalLLaMA
作者:/u/pmttyji
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xbl751/paper_memt10_towards_memorynative_evolution/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MemT-1.0 是一套把记忆内化为模型计算一部分的记忆基础模型架构,基于 Metis,采用 Gated DeltaNet-2 与逐 token 稳定记忆更新机制,并用 Mixture-of-Storage 扩展原生记忆容量,训练管线含继续预训练与后训练,共 34B token 数据。发布了 MemT-1.0-Nano 和 MemT-1.0-Flash,评测显示平均优于参数化记忆基线、与检索增强方法相当且大体保留通用能力;在 128K 历史长度下 Nano 端到端推理约 1.86× 加速、持久存储较全上下文 KV cache 减少 66 倍,并通过内化检索到的程序性经验提升 agentic 任务成功率。
同一新闻,精选展示《MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力》
来源:Reddit · r/LocalLLaMA · reddit.com