研究提出角色分离的自动红队方法,目标智能体宜自评而不宜自提攻击
论文研究自动红队中批评与攻击提议两个角色的分工,发现自我批评因基于目标会话的实时执行上下文而更有效,移除推理会使下游攻击成功率下降 6%-17%,而自我提议因知晓对抗目标会引发明确拒答与 sandbagging。据此提出目标会话诊断失败、独立攻击者生成下一提案的角色分离方案,在覆盖 Telecom、Workflow、CRM 和 Code 的 DTAP-BENCH 上,多种智能体框架与直接滥用、间接威胁模型下整体攻击成功率达 63.2%,高于基线。
推荐理由:论文拆解了自动红队中批评与提议两个角色该由谁承担,并给出角色分离后的攻击成功率数据,方法可迁移到智能体安全测试。