跳到正文
Reddit · r/LocalLLaMA· /u/MajesticPuzzler·· 12 天前AI 评分24

Deletion tuning 与 LoRA 谁更适合小模型本地微调?LocalLLaMA 社区征询实测经验

Deletion tuning vs LoRA for small local fine-tunes, anyone tried it yet?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/MajesticPuzzler

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xt81pu/deletion_tuning_vs_lora_for_small_local_finetunes/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit r/LocalLLaMA 上有用户征询大家对 deletion tuning 的实际使用经验——该方法通过遮蔽不到 0.05% 的 gate 权重即可匹配全量微调效果,且 checkpoint 更小、遗忘更少。发帖人想知道能否在单张 GPU 上对 7-14B 模型运行其代码,以及训练时长、显存占用与常规 LoRA 的对比,还有不同任务的 mask 能否叠加。

来源:Reddit · r/LocalLLaMA · reddit.com