arXiv · cs.AI· Mintong Kang·· 21 小时前精选AI 评分55
研究提出角色分离的自动红队方法,目标智能体宜自评而不宜自提攻击
The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming
来源与原文
arXiv · cs.AI
作者:Mintong Kang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34965v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文研究自动红队中批评与攻击提议两个角色的分工,发现自我批评因基于目标会话的实时执行上下文而更有效,移除推理会使下游攻击成功率下降 6%-17%,而自我提议因知晓对抗目标会引发明确拒答与 sandbagging。据此提出目标会话诊断失败、独立攻击者生成下一提案的角色分离方案,在覆盖 Telecom、Workflow、CRM 和 Code 的 DTAP-BENCH 上,多种智能体框架与直接滥用、间接威胁模型下整体攻击成功率达 63.2%,高于基线。
推荐理由
论文拆解了自动红队中批评与提议两个角色该由谁承担,并给出角色分离后的攻击成功率数据,方法可迁移到智能体安全测试。
来源:arXiv · cs.AI · arxiv.org