跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分65

Chutes.ai 发布 Epigenesis:Free-Slot Adaptation 让模型不改动基础权重即可写入并可精确撤销新知识

chutesai/epigenesis

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/chutesai/epigenesis

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Chutes.ai / Parallax 开源 Epigenesis,提出 Free-Slot Adaptation(FSA):冻结基础权重,把新知识写入 pair8 三值 MoE 格式保证存在的结构化零槽位,撤销时将槽位清零即可逐位恢复原模型。在 lambda 8B 三值 MoE 上教授 40 条人物事实,三值 Bop writer 在留出改写上达到 100% 召回,补丁仅 0.8–2.7 MB(约为同层 bf16 LoRA 的 1/15–1/50),推理零额外开销,但通用文本损伤 +0.024–0.027 nats,高于带惩罚的 LoRA,是该方法的当前短板。代码 Apache-2.0 开源,论文由 AI 辅助撰写并经作者验证,尚待多会话累积(EP-1)验证。

推荐理由

原文给出在真实 8B 模型上的召回率、文本损伤和补丁体积实测,并与 LoRA 基线逐项对比,方法和局限都写得很具体。

来源:GitHub · 去对齐工具与仓库 · github.com