GitHub · 灵魂体仓库·· 16 小时前AI 评分21
persistent-llm-unlearning:研究 LLM 遗忘知识能否抵御后续推理微调的 M.Tech 毕业项目仓库
DevulapalliTharun/persistent-llm-unlearning
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/DevulapalliTharun/persistent-llm-unlearning
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
DevulapalliTharun 在 GitHub 开源 persistent-llm-unlearning 研究工作区,探索 LLM 的定向知识遗忘在后续合法推理微调后是否仍保持有效,当前仅有项目提案与实验计划,尚无实验结果或训练 checkpoint。仓库提出两种候选防护方案:被动式的 RAFG(监测被遗忘答案是否变得易预测,必要时触发短期纠正性遗忘)与预防式的 RASP(估计对遗忘目标敏感的 LoRA 模块并选择性约束)。工作流从 M0 基座模型经监督微调到 M1、再经 Gradient Difference 遗忘到 M2,训练在 Kaggle 上进行,Colab 作为备选,模型产物存于私有 Hugging Face 仓库。
来源:GitHub · 灵魂体仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。