GitHub · 灵魂体仓库·· 11 天前AI 评分39
marimo 交互式讲解 Llama-2-7B 的 Harry Potter 近似遗忘
JacobBowie/marimo-unlearning
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/JacobBowie/marimo-unlearning
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
JacobBowie 用 marimo 响应式笔记本制作了 Eldan & Russinovich (2023)「Who's Harry Potter?」论文的交互式讲解,展示 Llama-2-7B 在约 1 GPU 小时的微调后遗忘 Harry Potter,而预训练原本需约 184,000 GPU 小时,通用 benchmark 分数基本不变。笔记本经 WebAssembly 完全在浏览器运行,首次加载需 30 到 60 秒,在线地址为 jacobbowie.com/unlearning。文中也指出该方法已被 NPO、SimNPO、RMU 等新方法超越。
来源:GitHub · 灵魂体仓库 · github.com