Deletion Tuning 引发 LocalLLaMA 社区关注,用户征询实测经验
先了解这件事
Reddit r/LocalLLaMA 上有用户发帖征询社区对 Deletion Tuning 的实际使用经验,想知道能否在单张 GPU 上对 7-14B 模型运行其代码、训练时长与显存占用相比常规 LoRA 如何,以及不同任务的 mask 能否叠加。 该方法出自一篇 Deletion Tuning 研究论文,用户 /u/Thrumpwart 将其分享到社区。论文称仅将模型不到 0.05% 的 gate projection 权重置零、不做其他修改,即可在 RLVR、SFT 和 on-policy distillation 三种后训练场景下匹配全量微调(FFT),且训练出的 mask 比 FFT checkpoint 小数百到数千倍。在强化学习场景下,其旧任务准确率接近基线,而 FFT、LoRA 和随机稀疏微调最多下降 5.4 个点。 帖中描述的效果为论文声称,目前尚待社区实测验证。
AI 根据报道生成 · 5 天前更新
事件进展
2 个进展
- 11月11日 12:08 · 1 篇报道Deletion tuning 与 LoRA 谁更适合小模型本地微调?LocalLLaMA 社区征询实测经验Reddit · r/LocalLLaMA:Deletion tuning 与 LoRA 谁更适合小模型本地微调?LocalLLaMA 社区征询实测经验
- 11月11日 03:44 · 1 篇报道发布 Deletion Tuning 稀疏后训练研究Reddit · r/LocalLLaMA:Deletion Tuning 研究发现零化不到 0.05% 权重即可匹敌全量微调
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMADeletion tuning 与 LoRA 谁更适合小模型本地微调?LocalLLaMA 社区征询实测经验
Reddit r/LocalLLaMA 上有用户征询大家对 deletion tuning 的实际使用经验——该方法通过遮蔽不到 0.05% 的 gate 权重即可匹配全量微调效果,且 checkpoint 更小、遗忘更少。发帖人想知道能否在单张 GPU 上对 7-14B 模型运行其代码,以及训练时长、显存占用与常规 LoRA 的对比,还有不同任务的 mask 能否叠加。
- Reddit · r/LocalLLaMA精选Deletion Tuning 研究发现零化不到 0.05% 权重即可匹敌全量微调
一项名为 Deletion Tuning 的研究发现,仅对大语言模型不到 0.05% 的权重置零、不做其他修改,即可在 RLVR、SFT 和 on-policy distillation 三种后训练场景下匹配全量微调(FFT)。方法在 transformer 块的 gate projection 上学习二值 mask,比 FFT checkpoint 小数百到数千倍,且遗忘远少于 FFT、LoRA 和随机稀疏微调,后者在 RL 下旧任务准确率最多掉 5.4 个点。