热点事件持续更新

研究者提出层级低秩重参数化方法压缩PEFT参数

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

Rong Huang 等研究者在 arXiv 发布论文，提出一种面向参数高效微调（PEFT）的分层低秩重参数化方法：将 LoRA、DoRA 等可训练参数重组为近似方阵并递归做低秩分解，逐层压缩参数量。该方法与 LoRA、DoRA、MoSA、RaSA 结合后，在 LLaMA-3.1-8B 和 Qwen2.5-7B 上的常识推理及 GSM8K 数学推理任务中验证。论文称，在参数量压缩约一个数量级的情况下，八个常识推理基准的平均准确率仍具竞争力甚至超越对应基线；论文的证据还指出，该方法与 LoRA 或 DoRA 结合可取得更好性能。

AI 根据报道生成 · 1 小时前更新

最新进展10月27日 19:34

面向参数高效微调的分层低秩重参数化方法

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

19:34
arXiv · cs.CL
面向参数高效微调的分层低秩重参数化方法
研究者提出一种分层低秩重参数化方法，将 PEFT 可训练参数重组为近似方阵并递归做低秩分解，逐层压缩参数量。该方法与 LoRA、DoRA、MoSA、RaSA 结合后在 LLaMA-3.1-8B 和 Qwen2.5-7B 的常识推理及 GSM8K 数学推理上验证。在参数量压缩约一个数量级时，八个常识推理基准的平均准确率仍具竞争力甚至超越对应基线。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。