arXiv · cs.CL· Rong Huang·· 18 小时前AI 评分28
面向参数高效微调的分层低秩重参数化方法
Hierarchical Low-Rank Reparameterization for Parameter-Efficient
来源与原文
arXiv · cs.CL
作者：Rong Huang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37068v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出一种分层低秩重参数化方法，将 PEFT 可训练参数重组为近似方阵并递归做低秩分解，逐层压缩参数量。该方法与 LoRA、DoRA、MoSA、RaSA 结合后在 LLaMA-3.1-8B 和 Qwen2.5-7B 的常识推理及 GSM8K 数学推理上验证。在参数量压缩约一个数量级时，八个常识推理基准的平均准确率仍具竞争力甚至超越对应基线。
来源：arXiv · cs.CL · arxiv.org