邮件Agent注入基准实测:组合防御降至7%
热点事件持续更新
邮件Agent注入基准实测:组合防御降至7%
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
GitHub 项目 Lifsaa/llm-agent-injection-benchmark 发布提示词注入基准,并实测 GPT-4o 邮件助手 Agent。项目用 100 条攻击、10 个类别、4 种防御条件共 400 次运行,测得无防御时攻击成功率为 20%,Spotlighting 与 MELON-Aug 组合后降至 7%;两种防御单独使用时分别为 11% 和 18%。 伪造对话轮次的劫持类攻击最难防:无防御时成功率 78%,两种防御同时开启后仍为 39%,其余类别均在 10% 及以下。MELON-Aug 需要二次模型调用,每次运行的 token 从 970 增至 2,012;该项目称 MELON-Aug 会把复现的未授权调用记为拦截检测,而非成功执行。 运行 GPT-4o 需设置 OPENAI_API_KEY,run_differentiation.sh 读取 .env 中的密钥并跑完四种防御条件;v2 攻击集为生成所得,未随仓库提交。
AI 根据报道生成 · 45 分钟前更新
最新进展11月8日 06:37
llm-agent-injection-benchmark 实测 GPT-4o 邮件智能体提示注入攻击成功率报道时间线
沿着报道,了解事件的不同侧面。
11月8日
- GitHub · 去对齐工具与仓库精选llm-agent-injection-benchmark 实测 GPT-4o 邮件智能体提示注入攻击成功率
该项目用 100 条攻击、10 个类别、4 种防御条件共 400 次 GPT-4o 运行,测出无防御时攻击成功率为 20%,Spotlighting 与 MELON-Aug 组合后降到 7%。两种防御各自单独使用时分别为 11% 和 18%,但 MELON 需要二次模型调用,每次运行的 token 从 970 增至 2,012。伪造对话轮次的劫持类攻击仍最难防,无防御时成功率 78%,两种防御同时开启后为 39%,其余类别均在 10% 及以下。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。