研究：模型越大，压缩损伤越难补偿

1. 20:11
   arXiv · cs.AI

   模型越大越脆弱：为何压缩对大规模语言模型的伤害更大

   量化与剪枝对语言模型的损害会随模型规模增大而更难被补偿。研究以上下文检索为对象，将注意力头消融造成的损失精确分解为网络其余部分恢复的部分与最终传导到输出的部分，发现同等损害下小模型能恢复大部分损失，大模型则保留大部分损失，压缩注意力头呈现同样模式。因此在小模型上近乎无害的压缩，在大模型上可能代价高昂。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。