arXiv · cs.CL· Nabeelah Faumi·· 17 小时前AI 评分44
Transformer 语言模型中权重剪枝的机制性失效模式分析
Mechanistic Failure Modes of Weight Pruning in Transformer Language Models
来源与原文
arXiv · cs.CL
作者：Nabeelah Faumi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37126v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项针对 GPT-2 的因子化剪枝研究揭示了两种质性不同的失效模式：幅度剪枝 attention head 会移除输出端 head，使模型接近随机水平；而 30% 幅度剪枝 MLP 神经元时，IOI 电路的 26 个 head 完好，但 Name Mover 贡献翻转符号，模型系统性选错名字（17.7% 准确率），困惑度反而显示其损伤小于随机 head 剪枝（74.6 vs 140.1）。结果表明输出指标可能掩盖机制性损伤，需电路级因果分析作为压缩模型的补充评估手段。
来源：arXiv · cs.CL · arxiv.org