arXiv 论文:提示词注入探针学到的是对话特征而非注入本身
arXiv 论文(2610.18408)发现间接提示词注入的线性探针标准评测可被非模型特征通过,仅凭对话位置和文本长度就达到 0.91-0.98 AUROC。作者将无注入对话和形似注入的无害文本作为匹配负样本加入训练数据,在六个开源模型上,默认阈值下对无注入对话的误报率从 41-80% 降至 4-27%,对无害形似文本从 92-98% 降至 3-16%,同时在正常流量阈值下仍能检出中位数 95% 骗过智能体的攻击(不加数据为 91%)。在新应用中误报保持低位,但检出率取决于模型和阈值设定;同一数据也帮助纯文本过滤器。
推荐理由:论文指出注入探针评测可被对话位置和文本长度骗过,并给出用匹配负样本把误报率大幅压低的数据。