跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分64

Seahorse 项目:为冻结 LLM 构建基于内部状态的经验式记忆

vedant-jumle/Seahorse

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vedant-jumle/Seahorse

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 Seahorse 提出为冻结大语言模型外挂经验式记忆:在 Qwen2.5-1.5B-Instruct 第 26 层等后置 hook,把经历引起的内部状态偏移存入矩阵 M,用 whitened gist 作键,当当前语境匹配时以 h ← h + α·M·q 回忆,无需训练、不改基座。预注册实验显示约 98% 无关回答不受影响、最小二乘写入使六条记忆各自保留约一半强度,但事实回忆(≤15% 对比上下文 96-98%)、前提注入和写入脚手架仍是失败项,后续已移植到 Qwen3.5-2B 和 9B。

推荐理由

项目用预注册实验诚实报告了哪些成功哪些失败,读者能看到经验式记忆方案的真实边界和下一步方向。

来源:GitHub · 灵魂体仓库 · github.com