arXiv · cs.CL· Adnan Slimane Ali·· 22 天前AI 评分36
冻结因子还是频谱带?解耦低秩 LoRA 中的两个选择
Frozen Factor or Spectral Band? Disentangling Two Choices in Low-Rank LoRA
来源与原文
arXiv · cs.CL
作者:Adnan Slimane Ali
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.06621v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该 arXiv 论文将 LoRA 谱变体中的“冻结哪个因子”与“选哪个奇异方向带”两个选择解耦,发现 rank 2 时冻结输入因子 A 的同带优势大于带间差异,冻结 B 在五个任务对上比同等预算的自由 LoRA 低 8-18 个百分点。
来源:arXiv · cs.CL · arxiv.org