arXiv · cs.CL· Fei Zuo·· 1 天前精选AI 评分59
Adaptive-LoRA 论文：用 Path Patching 揭示 LoRA 层稀疏性并自动选择任务相关层
Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
来源与原文
arXiv · cs.CL
作者：Fei Zuo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34756v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项被 NeurIPS 2026 主会接收的研究通过机械可解释性分析发现 LoRA 的适配效果在组件和层级上高度稀疏，且关键层高度依赖任务、跨任务重叠有限。论文提出 Adaptive-LoRA，基于冻结基座的 zero-ablation 校准自动识别任务相关层；在 Qwen2.5-1.5B 上跨 11 个推理任务仅用 30% 的层即超过全层 LoRA，适配器参数减少 $3.5\times$。论文地址 https://arxiv.org/abs/2610.34756v1。
推荐理由
论文用机械可解释性方法解释 LoRA 层稀疏性，并给出可复用的自动选层方法，30% 层即超过全层 LoRA 的结果具体可查。
来源：arXiv · cs.CL · arxiv.org