研究揭示蒸馏下电路级坍缩差异

Deshan Sumanathilaka 等研究者在 arXiv 发表机制可解释性论文，用 linear CKA、logit lens、attention 分解、稀疏自编码器统计和 activation patching 对比 GPT-2 与其六层学生模型 DistilGPT-2，发现蒸馏后的“压缩-坍缩”二分现象：不同电路在蒸馏后的命运差异极大。 具体而言，IOI 电路在蒸馏后完全崩溃，任务准确率从教师的 94.8% 降至 35.2%，name-mover 头保留为零；而 GT 电路通过教师 layer 9 比较头重映射到学生 layer 4（Pearson r = 0.945），恢复了 87.7% 的任务性能。 研究结论称，电路本身的可压缩性决定蒸馏后的机制存活情况，聚合指标不足以诊断电路完整性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。