arXiv · cs.AI· Zhiqiang Pang·· 19 天前AI 评分44
LS-LoRA：层选择性微调如何兼顾任务适配与通用能力保留
Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention
来源与原文
arXiv · cs.AI
作者：Zhiqiang Pang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11620v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Layer-Selective LoRA（LS-LoRA），将可训练 LoRA 适配器只放在输入-输出相似度较低的 Transformer 层，该相似度可作为经验 Fisher 信息的前向代理指标。在数学推理和代码生成实验中，LS-LoRA 相比全层 LoRA 提升了目标任务平均性能，同时保留更多常识推理能力。
来源：arXiv · cs.AI · arxiv.org