跳到正文
GitHub · 灵魂体仓库·· 11 天前AI 评分39

marimo 交互式讲解 Llama-2-7B 的 Harry Potter 近似遗忘

JacobBowie/marimo-unlearning

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/JacobBowie/marimo-unlearning

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

JacobBowie 用 marimo 响应式笔记本制作了 Eldan & Russinovich (2023)「Who's Harry Potter?」论文的交互式讲解,展示 Llama-2-7B 在约 1 GPU 小时的微调后遗忘 Harry Potter,而预训练原本需约 184,000 GPU 小时,通用 benchmark 分数基本不变。笔记本经 WebAssembly 完全在浏览器运行,首次加载需 30 到 60 秒,在线地址为 jacobbowie.com/unlearning。文中也指出该方法已被 NPO、SimNPO、RMU 等新方法超越。

来源:GitHub · 灵魂体仓库 · github.com