跳到正文
我的
GitHub · 灵魂体仓库·· 16 小时前AI 评分21

persistent-llm-unlearning:研究 LLM 遗忘知识能否抵御后续推理微调的 M.Tech 毕业项目仓库

DevulapalliTharun/persistent-llm-unlearning

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/DevulapalliTharun/persistent-llm-unlearning

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DevulapalliTharun 在 GitHub 开源 persistent-llm-unlearning 研究工作区,探索 LLM 的定向知识遗忘在后续合法推理微调后是否仍保持有效,当前仅有项目提案与实验计划,尚无实验结果或训练 checkpoint。仓库提出两种候选防护方案:被动式的 RAFG(监测被遗忘答案是否变得易预测,必要时触发短期纠正性遗忘)与预防式的 RASP(估计对遗忘目标敏感的 LoRA 模块并选择性约束)。工作流从 M0 基座模型经监督微调到 M1、再经 Gradient Difference 遗忘到 M2,训练在 Kaggle 上进行,Colab 作为备选,模型产物存于私有 Hugging Face 仓库。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。