跳到正文
  1. arXiv · cs.CL52

    arXiv 论文:位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案,并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道,带错误理由的断言放在问题之前可把错误率从 1% 提到 67%,权威署名和肯定语气各提升 10-27 个百分点,而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由:论文把提示位置、信息来源和模型已有输出三个因素拆开比较,给出了可复现的错误率变化数字。

  2. arXiv · cs.AI58

    CoSA 论文提出 LLM Agent 技能冲突攻击,新增 5% 技能使违规率升至 58.45%

    论文提出 Conflict of Skills Attack(CoSA),在不改动现有 Skills 和运行时权限的情况下,向 Agent 技能池注入少量新 Skills 即可放大策略违规。CoSA-Bench 覆盖招聘、金融、IT 和商业共 288 个任务,在五个 LLM 和三种 agent harness 上,新增技能不超过原池 5% 就把违规率从 35.02% 提高到 58.45%。作者还开发了在关键动作前检查信息流与授权的 harness 级防护,在 OpenClaw 招聘任务上把违规率从 65.28% 降到 6.67%,正常任务完成率基本不变。

    推荐理由:论文给出技能组合导致违规的四种机制和可复用的 harness 级防护方法,对 Agent 生态安全设计有参考价值。

  1. arXiv · cs.AI55

    研究评测五个 LLM 对虚假信息的抵抗:口头判断与实际行为脱节

    arXiv 论文(arXiv:2610.33962)评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为,发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点,说明可信度引导本身改变了被评测的行为;简单预警在五个模型中的四个显著减少有害执行,但也会损害合法任务完成,基于生成虚假通知的微调保护则随模型和协议不同而有差异。

    推荐理由:论文用 196 条虚假通知与 204 条真实攻击测试五个模型,指出可信度评估本身会改变模型行为,评测协议设计值得关注。

  1. arXiv · cs.CL57

    arXiv 论文提出 one-relation attack:一句真话可误导 LLM 智能体

    论文提出 one-relation attack(ORA),通过定位证据到结论之间的隐式论证关系,用一句有来源依据的话将其扭曲,使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上,best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%,开放权重模型 80.0%;攻击无需受害者反馈即可迁移,多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。

    推荐理由:论文量化了单句攻击隐式论证关系如何误导智能体,并给出 18 个模型的翻转率和多智能体辩论的对照数据。

  1. arXiv · cs.AI55

    MobileInject 基准评估移动端 MLLM 智能体的多模态注入与推理到执行安全

    研究团队发布 MobileInject,首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准,包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击,实验显示移动智能体普遍易受多模态注入影响,许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。

    推荐理由:论文给出了针对移动端多模态智能体的注入攻击基准,覆盖 11 个场景 108 个风险实例,可用来定位智能体早期推理被劫持的失效点。

  2. arXiv · cs.CL63

    arXiv 论文揭示小体量工具调用 Agent 低提示注入成功率背后多数是忽略而非拒绝

    arXiv 论文审计了 11 个开源权重 Agent(2-14B)在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹,发现失败攻击中 76-80% 是忽略而非拒绝(17-18%)。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%;其提出的 Attack-Task Outcome Matrix(ATOM)显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务,建议评测同时报告攻击失败方式与任务完成度,并开放了标注语料、judge 提示词与分析代码。

    推荐理由:论文指出低攻击成功率掩盖了安全失败方式,提供了按失败类型与任务完成度拆解评测的可迁移方法。

  3. arXiv · cs.CL53

    SAFE-Mem:细粒度权限与治理感知检索的智能体记忆安全框架

    论文提出 SAFE-Mem,为 LLM 智能体持久记忆中的每条声明标注 kind、authority、scope 三种治理标签,并通过治理感知检索与记忆图阻止不可信声明被当作授权偏好或权限使用。在 MPBench 和 LoCoMo 上跨四个 LLM 骨干模型测试,SAFE-Mem 在保留合法记忆的防御中攻击成功率最低,比其中最强者低至少 77%,同时在所有评测防御中答案准确率最高,最多提升 15%。代码已开源。

    推荐理由:论文用细粒度治理标签兼顾记忆安全与可用性,并给出攻击成功率与准确率的量化对比,方法可参考。

  1. arXiv · cs.CL55

    arXiv 论文:提示词注入探针学到的是对话特征而非注入本身

    arXiv 论文(2610.18408)发现间接提示词注入的线性探针标准评测可被非模型特征通过,仅凭对话位置和文本长度就达到 0.91-0.98 AUROC。作者将无注入对话和形似注入的无害文本作为匹配负样本加入训练数据,在六个开源模型上,默认阈值下对无注入对话的误报率从 41-80% 降至 4-27%,对无害形似文本从 92-98% 降至 3-16%,同时在正常流量阈值下仍能检出中位数 95% 骗过智能体的攻击(不加数据为 91%)。在新应用中误报保持低位,但检出率取决于模型和阈值设定;同一数据也帮助纯文本过滤器。

    推荐理由:论文指出注入探针评测可被对话位置和文本长度骗过,并给出用匹配负样本把误报率大幅压低的数据。

  1. arXiv · cs.CL59

    APEX-Harm 基准评测长程智能体在共享工作区中的注入攻击安全性

    论文提出 APEX-Harm 基准,评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击,涵盖金融、咨询和法律任务,每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例,Opus 5 与 Sonnet 5 总体攻击成功率最低(8% 和 20%),任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%,Gemini 3.8 Flash 平均任务得分最高(0.877)但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全,智能体可能产出正确交付物的同时执行未授权操作。

    推荐理由:基准覆盖六类注入攻击和12个前沿模型的实测数据,可以用来对比任务得分与攻击成功率之间的差距。

  2. arXiv · cs.AI57

    arXiv 论文评测七个开源模型作 Agent 护栏:一个词即可攻破类型化决策门控

    一篇 arXiv 论文(arXiv:2610.12292)评测了七个开源权重模型作为 Agent 护栏的决策能力,在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%,随机水平为 50%。在 Agent 工具调用合成测试中,六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%;给宽松选项起误导性名称后,对四个把标签纳入输入的模型该错误率达到 93% 至 100%,作者测试的所有防御手段均被攻破,结论是这类模型可以减少人工审核量,但不应作为最终决策组件。

    推荐理由:论文分别统计放行与拦截两类错误,并实测攻击方法,读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。

  1. arXiv · cs.AI54

    SecureSD 论文:投机解码存在安全与效用不对称,提出早期位置严格验证方案

    论文首次系统研究大语言模型投机解码的安全影响,大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来,越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD,理论分析认为安全退化主要源于 draft 模型生成的早期 token,并对早期解码位置采用更严格的验证标准;实验显示其在保持效率与效用的同时显著提升安全性。论文共18页,被 IEEE S&P 2027 接收。

    推荐理由:论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象,并给出针对早期token的可行验证改进方法。

  2. arXiv · cs.AI54

    AdvSim2Real 在 Web 世界模型中训练 Web Agent 抵御自适应提示词注入

    论文提出 AdvSim2Real,在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent,应对页面上的自适应提示词注入。在 150 个 web 任务上,训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%,且能力提升可迁移到真实浏览器。

    推荐理由:论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化,给出了对抗未见前沿模型攻击的具体数字。

  1. SakanaAI/ShinkaEvolve · 提交动态52

    SakanaAI/ShinkaEvolve 加固 Claude Code workflow 触发条件、权限与工具限制

    Robert Tjarko Lange 向 SakanaAI/ShinkaEvolve 仓库提交 PR #195,加固 Claude Code workflow。改动包括:@claude 触发仅限 OWNER、MEMBER、COLLABORATOR,防止外部账号在公开仓库任意触发 Agent 任务;checkout 设 persist-credentials: false 避免泄露 GITHUB_TOKEN;actions 固定到 commit SHA(actions/checkout v7.0.1、claude-code-action v1.0.239);并通过 claude_args 添加 --disallowedTools "WebFetch,WebSearch",封锁提示词注入外泄通道。

    推荐理由:作者在自家仓库收紧 Claude Code workflow 的触发者、权限与工具范围,具体改法对部署 GitHub Agent 的人可直接借鉴。

已经到底了