研究提出概念探针噪声敏感性评测方法

1. 18:47
   arXiv · cs.CL

   可解码性不等于有效性：评估语言模型概念探针的干扰敏感性

   研究发现，两个概念探针在预测语言模型隐藏状态中的概念时准确率相当，但对相关干扰属性的敏感性可相差数倍。在 CEBaB、BiasBios 及 Amazon 评论情感等四种目标-干扰设置中，可解码性并非干扰敏感性的可靠代理，其排名相关性在不同设置间甚至变号。该效应取决于探针的训练数据而非干扰的自然关联，去相关训练可消除系统性影响；使用需干扰标签但无需反事实的干扰感知诊断选择探针，可在小幅精度代价下降低反事实干扰敏感性。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。