GitHub · 灵魂体仓库·· 18 天前精选AI 评分64
Seahorse 项目:为冻结 LLM 构建基于内部状态的经验式记忆
vedant-jumle/Seahorse
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vedant-jumle/Seahorse
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 Seahorse 提出为冻结大语言模型外挂经验式记忆:在 Qwen2.5-1.5B-Instruct 第 26 层等后置 hook,把经历引起的内部状态偏移存入矩阵 M,用 whitened gist 作键,当当前语境匹配时以 h ← h + α·M·q 回忆,无需训练、不改基座。预注册实验显示约 98% 无关回答不受影响、最小二乘写入使六条记忆各自保留约一半强度,但事实回忆(≤15% 对比上下文 96-98%)、前提注入和写入脚手架仍是失败项,后续已移植到 Qwen3.5-2B 和 9B。
推荐理由
项目用预注册实验诚实报告了哪些成功哪些失败,读者能看到经验式记忆方案的真实边界和下一步方向。
来源:GitHub · 灵魂体仓库 · github.com