Reddit · r/LocalLLaMA· /u/Thrumpwart·· 12 天前精选AI 评分67
Deletion Tuning 研究发现零化不到 0.05% 权重即可匹敌全量微调
The Surprising Effectiveness of Deleting Weights in LLM Post-Training
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Thrumpwart
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xswmb7/the_surprising_effectiveness_of_deleting_weights/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项名为 Deletion Tuning 的研究发现,仅对大语言模型不到 0.05% 的权重置零、不做其他修改,即可在 RLVR、SFT 和 on-policy distillation 三种后训练场景下匹配全量微调(FFT)。方法在 transformer 块的 gate projection 上学习二值 mask,比 FFT checkpoint 小数百到数千倍,且遗忘远少于 FFT、LoRA 和随机稀疏微调,后者在 RL 下旧任务准确率最多掉 5.4 个点。
推荐理由
给出删除权重微调与 FFT、LoRA 的对照结果和遗忘数据,方法还附带代码与 mask 权重,可复现验证。
来源:Reddit · r/LocalLLaMA · reddit.com