跳到正文
arXiv · cs.CL· Adnan Slimane Ali·· 22 天前AI 评分36

冻结因子还是频谱带?解耦低秩 LoRA 中的两个选择

Frozen Factor or Spectral Band? Disentangling Two Choices in Low-Rank LoRA

来源与原文

arXiv · cs.CL

作者:Adnan Slimane Ali

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.06621v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该 arXiv 论文将 LoRA 谱变体中的“冻结哪个因子”与“选哪个奇异方向带”两个选择解耦,发现 rank 2 时冻结输入因子 A 的同带优势大于带间差异,冻结 B 在五个任务对上比同等预算的自由 LoRA 低 8-18 个百分点。

来源:arXiv · cs.CL · arxiv.org