arXiv · cs.AI· Seyedarmin Azizi·· 18 天前精选AI 评分57
arXiv 论文评测七个开源模型作 Agent 护栏：一个词即可攻破类型化决策门控
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
来源与原文
arXiv · cs.AI
作者：Seyedarmin Azizi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12292v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文（arXiv:2610.12292）评测了七个开源权重模型作为 Agent 护栏的决策能力，在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%，随机水平为 50%。在 Agent 工具调用合成测试中，六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%；给宽松选项起误导性名称后，对四个把标签纳入输入的模型该错误率达到 93% 至 100%，作者测试的所有防御手段均被攻破，结论是这类模型可以减少人工审核量，但不应作为最终决策组件。
推荐理由
论文分别统计放行与拦截两类错误，并实测攻击方法，读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。
来源：arXiv · cs.AI · arxiv.org