Reddit · r/LocalLLaMA· /u/MajesticPuzzler·· 12 天前AI 评分24
Deletion tuning 与 LoRA 谁更适合小模型本地微调?LocalLLaMA 社区征询实测经验
Deletion tuning vs LoRA for small local fine-tunes, anyone tried it yet?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/MajesticPuzzler
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xt81pu/deletion_tuning_vs_lora_for_small_local_finetunes/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 上有用户征询大家对 deletion tuning 的实际使用经验——该方法通过遮蔽不到 0.05% 的 gate 权重即可匹配全量微调效果,且 checkpoint 更小、遗忘更少。发帖人想知道能否在单张 GPU 上对 7-14B 模型运行其代码,以及训练时长、显存占用与常规 LoRA 的对比,还有不同任务的 mask 能否叠加。
来源:Reddit · r/LocalLLaMA · reddit.com