跳到正文
我的
arXiv · cs.CL· Ilan Zendel·· 2 天前精选AI 评分74

NeurIPS 2026 论文提出自愿臣服攻击:伪造安全警告操纵 LLM Agent

Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents

来源与原文

arXiv · cs.CL

作者:Ilan Zendel

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.04393v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文(arXiv:2611.04393,NeurIPS 2026 主Track录用)提出名为 voluntary servitude 的攻击:攻击者以普通评论形式伪造一条危害警告,让 Agent 依自身规避推理否掉正当选项并选择攻击者目标。该攻击操纵成功率 60.4%,与指令注入的 66.0% 相当,且被部署的注入检测器判为良性,在过滤后有效性高 1.7-4.4 倍;测试覆盖六种模型、十个消费服务领域和三类攻击族,并在生产浏览器 Agent 与检索管道(端到端成功率 1.0-57.0%)中得到验证。在 Agent 指令中加入多源佐证要求可在不重训的情况下消除约 95% 的非自适应攻击暴露。

推荐理由

论文提出通过伪造危害警告绕过注入检测的新型攻击,并给出可添加到指令中的缓解方法,对 Agent 安全部署有参考价值。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。