arXiv · cs.CL· Ilan Zendel·· 2 天前精选AI 评分74
NeurIPS 2026 论文提出自愿臣服攻击:伪造安全警告操纵 LLM Agent
Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents
来源与原文
arXiv · cs.CL
作者:Ilan Zendel
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04393v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文(arXiv:2611.04393,NeurIPS 2026 主Track录用)提出名为 voluntary servitude 的攻击:攻击者以普通评论形式伪造一条危害警告,让 Agent 依自身规避推理否掉正当选项并选择攻击者目标。该攻击操纵成功率 60.4%,与指令注入的 66.0% 相当,且被部署的注入检测器判为良性,在过滤后有效性高 1.7-4.4 倍;测试覆盖六种模型、十个消费服务领域和三类攻击族,并在生产浏览器 Agent 与检索管道(端到端成功率 1.0-57.0%)中得到验证。在 Agent 指令中加入多源佐证要求可在不重训的情况下消除约 95% 的非自适应攻击暴露。
推荐理由
论文提出通过伪造危害警告绕过注入检测的新型攻击,并给出可添加到指令中的缓解方法,对 Agent 安全部署有参考价值。
来源:arXiv · cs.CL · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。