热点事件持续更新

arXiv论文揭示GPT-2剪枝的两种机制性失效模式

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

Nabeelah Faumi 在 arXiv 发布一项针对 GPT-2 的因子化剪枝研究，发现两种质性不同的失效模式：幅度剪枝 attention head 会移除输出端 head，使模型接近随机水平；而剪枝 30% 的 MLP 神经元时，IOI 电路的 26 个 head 完好，但 Name Mover 贡献翻转符号，模型系统性选错名字，IOI 准确率降至 17.7%。值得注意的矛盾现象：后一种情况下困惑度（74.6）反而优于随机 head 剪枝（140.1），即输出指标可能掩盖机制性损伤。论文据此提出，压缩模型评估需以电路级因果分析作为补充手段。

AI 根据报道生成 · 1 小时前更新

最新进展10月27日 20:25

Transformer 语言模型中权重剪枝的机制性失效模式分析

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

20:25
arXiv · cs.CL
Transformer 语言模型中权重剪枝的机制性失效模式分析
一项针对 GPT-2 的因子化剪枝研究揭示了两种质性不同的失效模式：幅度剪枝 attention head 会移除输出端 head，使模型接近随机水平；而 30% 幅度剪枝 MLP 神经元时，IOI 电路的 26 个 head 完好，但 Name Mover 贡献翻转符号，模型系统性选错名字（17.7% 准确率），困惑度反而显示其损伤小于随机 head 剪枝（74.6 vs 140.1）。结果表明输出指标可能掩盖机制性损伤，需电路级因果分析作为压缩模型的补充评估手段。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。