Seahorse 项目:为冻结 LLM 构建基于内部状态的经验式记忆
GitHub 项目 Seahorse 提出为冻结大语言模型外挂经验式记忆:在 Qwen2.5-1.5B-Instruct 第 26 层等后置 hook,把经历引起的内部状态偏移存入矩阵 M,用 whitened gist 作键,当当前语境匹配时以 h ← h + α·M·q 回忆,无需训练、不改基座。预注册实验显示约 98% 无关回答不受影响、最小二乘写入使六条记忆各自保留约一半强度,但事实回忆(≤15% 对比上下文 96-98%)、前提注入和写入脚手架仍是失败项,后续已移植到 Qwen3.5-2B 和 9B。
推荐理由:项目用预注册实验诚实报告了哪些成功哪些失败,读者能看到经验式记忆方案的真实边界和下一步方向。