arXiv · cs.CL· Jipeng Li·· 1 天前AI 评分38
Transformer 中证据效应的因果定位研究
Causal Localization of Evidence Effects in Transformers
来源与原文
arXiv · cs.CL
作者：Jipeng Li
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36524v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出受控证据聚合（CEA）方法，通过在固定提示词中改变两个符号的数量与顺序，定位影响 Transformer 语言模型决策的注意力头。在 Pythia-410M 上，针对四种排序规则分别选择的 1-12 个头的消融可去除 65.5-91.6% 的计数效应；在自然语言报告比较任务中，仅基于符号提示选出的 8 个头使平均准确率下降 8.2 个百分点，而同规模随机头组仅 0.8。结果表明符号探针找到的注意力头集合对自然语言决策也具有因果影响。
来源：arXiv · cs.CL · arxiv.org