arXiv · cs.CL· Pratik Worah·· 7 天前AI 评分36
语言模型会因神经元消融而“失语”吗？
Can Language Models Get "Aphasia" From Neuronal Ablation?
来源与原文
arXiv · cs.CL
作者：Pratik Worah
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28214v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究系统消融 LSTM 与 Transformer 语言模型的神经元，并以有限微调模拟补偿性可塑性，发现二者衰退模式截然不同。LSTM 随损伤逐渐衰退，Transformer 在 MLP 消融下出现阈值式崩塌，在注意力头消融下呈平滑下降。MLP 消融模型表现出类似 Wernicke 失语的语义错语，注意力头消融则类似原发性进行性失语的语义变异型（svPPA）。
来源：arXiv · cs.CL · arxiv.org