跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分63

batteryphil 开源 gist-memory:带衰减的线性注意力记忆层 GistLayer

batteryphil/gist-memory

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/batteryphil/gist-memory

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

batteryphil 在 GitHub 发布 PyTorch 库 gist-memory,包含 GistLayer(带指数衰减的线性注意力记忆层)和用于 Hugging Face decoder 模型的零初始化适配器。作者自述其固定大小状态在约 1000 token 以上压缩会失效,但能有效压缩约 150-300 token 的短上下文,适用场景包括系统提示词与人格压缩(200 token 压成 16 个记忆向量缓存)、多智能体通信(Qwen-0.5B 写入的记忆可被 6M 参数 MLP 连接器供 SmolLM-135M 或 72B 模型读取)以及约 500 token 的滚动工作记忆。项目采用 Apache-2.0 许可证。

推荐理由

作者明确给出该记忆层的适用边界和失效数据,读者可据此判断它适合哪些场景而不是迷信长上下文宣传。

来源:GitHub · 灵魂体仓库 · github.com