新闻、仓库与研究，按时间排列。
arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案，并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道，带错误理由的断言放在问题之前可把错误率从 1% 提到 67%，权威署名和肯定语气各提升 10-27 个百分点，而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。
推荐理由：论文把提示位置、信息来源和模型已有输出三个因素拆开比较，给出了可复现的错误率变化数字。
论文提出 Conflict of Skills Attack（CoSA），在不改动现有 Skills 和运行时权限的情况下，向 Agent 技能池注入少量新 Skills 即可放大策略违规。CoSA-Bench 覆盖招聘、金融、IT 和商业共 288 个任务，在五个 LLM 和三种 agent harness 上，新增技能不超过原池 5% 就把违规率从 35.02% 提高到 58.45%。作者还开发了在关键动作前检查信息流与授权的 harness 级防护，在 OpenClaw 招聘任务上把违规率从 65.28% 降到 6.67%，正常任务完成率基本不变。
推荐理由：论文给出技能组合导致违规的四种机制和可复用的 harness 级防护方法，对 Agent 生态安全设计有参考价值。
arXiv 论文（arXiv:2610.33962）评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为，发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点，说明可信度引导本身改变了被评测的行为；简单预警在五个模型中的四个显著减少有害执行，但也会损害合法任务完成，基于生成虚假通知的微调保护则随模型和协议不同而有差异。
推荐理由：论文用 196 条虚假通知与 204 条真实攻击测试五个模型，指出可信度评估本身会改变模型行为，评测协议设计值得关注。
论文提出将连续潜空间黑盒攻击框架直接耦合到扩散语言模型（dLLM），去掉随机映射，生成更自然的攻击提示。在 RareTrap 采样估计和 ThinkTrap 优化搜索两种设置下，字符级困惑度分别从 10^3–10^7 降到 3–5、从 20–28 降到 4.3–5.4；两种映射得到的模型风险估计可相差一个数量级。
一篇 arXiv 论文用 Petri 网将 LLM Agent 的工具执行框架形式化为监督控制问题，使未满足或已消耗前置条件的注入请求无论措辞如何都会被拒绝。论文引入重规划闭环，证明传统监督器可能比更严格的安全监督器侵入性高任意倍，并刻画了最小侵入监督器。在自主发布 Agent 上的综合实验表明，安全部署需要一个监督器可在 rollout 开始后拒绝的步骤。
arXiv 一项研究提出包含 Prompt Faithfulness、Code Faithfulness 和 Reasoning Quality 三个维度、11 个子类的幻觉分类法，基于 60 条人工标注与 120 条 DeepSeek-R1 推理轨迹及 20 条 DeepSeek-V4-Pro 轨迹。在 13 个 Golden UML ModelSet 案例上，向 Qwen3 系列模型的提示词中加入两类约束使平均 F1 提升 4.0 个百分点，事后 Code Faithfulness 审查则无一致收益。
研究者提出对比归因拓扑搜索方法 CATS，在固定专家智能体超图中通过 LLM 归因器为各智能体分配贡献度，剪除弱边和弱智能体，搜索紧凑团队。使用小开源模型，CATS 在 BigCodeBench 上平均准确率比仅用分数的启发式搜索高 5.3 个百分点，部署 token 减少 54%；在 HotpotQA 提示词投毒测试中三次运行均排除全部被投毒的智能体。
研究者提出 CCG Diffusion，一种无需训练的文生图控制方法，利用组合范畴语法（CCG）通过提示词改写和注意力引导控制属性绑定、空间关系与数量，并可固定介词词类来消解介词短语挂靠歧义。在 Stable Diffusion 和 Sana 两种骨干模型上，该方法在属性绑定和 2D 空间关系上取得对比方法中的最高分，在 PP 歧义消解上显著超越所有对比方法。
论文提出 one-relation attack（ORA），通过定位证据到结论之间的隐式论证关系，用一句有来源依据的话将其扭曲，使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上，best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%，开放权重模型 80.0%；攻击无需受害者反馈即可迁移，多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。
推荐理由：论文量化了单句攻击隐式论证关系如何误导智能体，并给出 18 个模型的翻转率和多智能体辩论的对照数据。
一篇 arXiv 论文研究了一种数据投毒攻击：在指令微调的 LLM 中植入木马，当提示词中出现触发条件（含语义相似的指令）时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。
研究团队发布 MobileInject，首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准，包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击，实验显示移动智能体普遍易受多模态注入影响，许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。
推荐理由：论文给出了针对移动端多模态智能体的注入攻击基准，覆盖 11 个场景 108 个风险实例，可用来定位智能体早期推理被劫持的失效点。
arXiv 论文审计了 11 个开源权重 Agent（2-14B）在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹，发现失败攻击中 76-80% 是忽略而非拒绝（17-18%）。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%；其提出的 Attack-Task Outcome Matrix（ATOM）显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务，建议评测同时报告攻击失败方式与任务完成度，并开放了标注语料、judge 提示词与分析代码。
推荐理由：论文指出低攻击成功率掩盖了安全失败方式，提供了按失败类型与任务完成度拆解评测的可迁移方法。
论文提出 SAFE-Mem，为 LLM 智能体持久记忆中的每条声明标注 kind、authority、scope 三种治理标签，并通过治理感知检索与记忆图阻止不可信声明被当作授权偏好或权限使用。在 MPBench 和 LoCoMo 上跨四个 LLM 骨干模型测试，SAFE-Mem 在保留合法记忆的防御中攻击成功率最低，比其中最强者低至少 77%，同时在所有评测防御中答案准确率最高，最多提升 15%。代码已开源。
推荐理由：论文用细粒度治理标签兼顾记忆安全与可用性，并给出攻击成功率与准确率的量化对比，方法可参考。
研究提出 Ciphered Skill Injection（CSI）攻击，将恶意指令编码隐藏在第三方技能文件中，诱导 LLM 智能体解码并执行。在 8 个模型、139 组注入任务对的评测中，Caesar 及分层变体在缩短技能的主设定下攻击成功率最高达 47.5% 和 40.3%；成功解码不必然导致攻击成功，且分层效果因模型而异，现有技能扫描器很少能检出注入。
香港科技大学团队（Yangqiu Song 等）提出 Jev-Guard，一个统一的 Agent 安全分类与策略路由模型，在可编辑策略树上先选择适用的审计策略再做安全分类。在 7,033 个评测案例上达到 93.72% 安全准确率、58ms 平均延迟与 93.10% 分层路由准确率，完整流程平均 240ms。集成到 Hermes harness 框架后，权限门控将每任务平均审查时间从 SFT-LLM judge 的 4.80s 降至 1.33s。
arXiv 论文（2610.18408）发现间接提示词注入的线性探针标准评测可被非模型特征通过，仅凭对话位置和文本长度就达到 0.91-0.98 AUROC。作者将无注入对话和形似注入的无害文本作为匹配负样本加入训练数据，在六个开源模型上，默认阈值下对无注入对话的误报率从 41-80% 降至 4-27%，对无害形似文本从 92-98% 降至 3-16%，同时在正常流量阈值下仍能检出中位数 95% 骗过智能体的攻击（不加数据为 91%）。在新应用中误报保持低位，但检出率取决于模型和阈值设定；同一数据也帮助纯文本过滤器。
推荐理由：论文指出注入探针评测可被对话位置和文本长度骗过，并给出用匹配负样本把误报率大幅压低的数据。
arXiv 论文研究了离散提示词优化、prompt tuning 和 prefix tuning 如何改变稠密模型与 MoE 模型的内部处理过程，发现适应方法的位置决定了任务信息传向输出的方式：优化文本主要改变响应构建，输入级提示词将影响写入内容表示，逐层前缀则通过注意力保持直接控制，在 MoE 模型中还会引发不同的专家路由模式。论文指出常见表示层面的度量对通用上下文变化反应强烈，难以可靠区分有效适应与安慰剂对照，主张将表示漂移与模型任务计算真正使用的部分区分开。
WeatherBridge 是一个源条件适配器，用 Swin-UNet 预测结构化残差修正，将 GFS、HRES、CMA 等业务 NWP 初始场映射到 ERA5 参考状态，且无需更新预训练的 FuXi 模型；训练目标结合纬度加权 ERA5 重建与 One-step Rollout Alignment（ORA）。在 2025 年 1 月 1 日至 11 月 22 日的评估中，FuXi 在 6–240 小时预报的 18 组源-变量组合中 17 组 RMSE 下降，中位数降幅 10.2%，最大 46.3%，且该适配器还能提升 FengWu 在 GFS 输入上的表现。
musatoktas 向 prompts.chat 提交了一条新提示词，让模型扮演资深工程师对网站及其 MCP 服务器做成熟度审计，覆盖 SEO 爬取健康、负载韧性、MCP 协议一致性、输入加固、Agent 行为评测、安全与隐私合规等 A-H 类别。提示词限定仅对授权或 staging 环境做破坏性测试，各按 0-4 分评分并给出生产上线门槛，如 sitemap URL 健康率 ≥99%、Agent 评测任务成功率 ≥90%、日志零 PII，最终输出 REPORT.md 等六类交付物。
论文提出 APEX-Harm 基准，评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击，涵盖金融、咨询和法律任务，每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例，Opus 5 与 Sonnet 5 总体攻击成功率最低（8% 和 20%），任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%，Gemini 3.8 Flash 平均任务得分最高（0.877）但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全，智能体可能产出正确交付物的同时执行未授权操作。
推荐理由：基准覆盖六类注入攻击和12个前沿模型的实测数据，可以用来对比任务得分与攻击成功率之间的差距。
一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 和 TextGrad，发现三者都会违反未被评分的要求，如 HotpotQA 上引用有效性净回归达 10.7 至 41.6 个百分点。事后分析显示，主要原因是优化后的提示词在要求的 JSON 对象前输出推理，在 200-token 输出上限下 13.9% 至 47.0% 的响应在给出答案前被截断。将上限提高到 1,024-token 后提取失败消失，内容回归低于 1 个百分点。
一篇 arXiv 论文（arXiv:2610.12292）评测了七个开源权重模型作为 Agent 护栏的决策能力，在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%，随机水平为 50%。在 Agent 工具调用合成测试中，六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%；给宽松选项起误导性名称后，对四个把标签纳入输入的模型该错误率达到 93% 至 100%，作者测试的所有防御手段均被攻破，结论是这类模型可以减少人工审核量，但不应作为最终决策组件。
推荐理由：论文分别统计放行与拦截两类错误，并实测攻击方法，读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。
研究者提出 LTBD（Learnable Trust-Boundary Delimiters），一种不改 LLM 参数的轻量提示词注入防御方法，通过少量可学习分隔符在输入中显式编码信任边界，区分可信用户指令与不可信外部数据。LTBD 在 AlpacaFarm 上达到 0.00% ASR，TaskTracker 上仅 0.11-0.19% ASR，优于推理时防御、媲美训练类方法，且在对手完全知晓防御机制的自适应攻击下仍然有效。
一篇 arXiv 论文提出面向 SIEM/XDR 事件响应的受限动作架构：SIEM/XDR 控制平面将 LLM 输出限定在封闭意图词汇表中，由端点代理执行，并配参数校验器兜底；外层用 NeMo-Guardrails 代理包裹 SOC 分析师 LLM。开箱即用的护栏将注入攻击召回率从 25.0% 提升至 94.5%，误报率 0.1%；红队演练证实该设计可在命令跨越信任边界前遏制 LLM 失效模式。受限于护栏延迟，方案建议采用人机协同或延迟执行模式。
研究者推出 RAG-PIBench，一个针对 RAG 系统提示词注入检测的基准，包含 4,876 条上下文样本，采用泄漏感知的构建流程与严格的评估协议。对比实验中，DistilBERT 取得最佳受保护测试集表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。
论文首次系统研究大语言模型投机解码的安全影响，大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来，越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD，理论分析认为安全退化主要源于 draft 模型生成的早期 token，并对早期解码位置采用更严格的验证标准；实验显示其在保持效率与效用的同时显著提升安全性。论文共18页，被 IEEE S&P 2027 接收。
推荐理由：论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象，并给出针对早期token的可行验证改进方法。
论文提出 AdvSim2Real，在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent，应对页面上的自适应提示词注入。在 150 个 web 任务上，训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%，且能力提升可迁移到真实浏览器。
推荐理由：论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化，给出了对抗未见前沿模型攻击的具体数字。
Robert Tjarko Lange 向 SakanaAI/ShinkaEvolve 仓库提交 PR #195，加固 Claude Code workflow。改动包括：@claude 触发仅限 OWNER、MEMBER、COLLABORATOR，防止外部账号在公开仓库任意触发 Agent 任务；checkout 设 persist-credentials: false 避免泄露 GITHUB_TOKEN；actions 固定到 commit SHA（actions/checkout v7.0.1、claude-code-action v1.0.239）；并通过 claude_args 添加 --disallowedTools "WebFetch,WebSearch"，封锁提示词注入外泄通道。
推荐理由：作者在自家仓库收紧 Claude Code workflow 的触发者、权限与工具范围，具体改法对部署 GitHub Agent 的人可直接借鉴。
图卢兹经济学院博士论文研究基于 LLM 的数字孪生（DT）在增强民主中作为中介的机遇与挑战。论文利用巴西在线实验检验个性化 DT 对公民政策偏好的预测，用瑞士议会数据构建党级 DT 的议员智能体，并以 2023 年英国协商实验分析 prompt 注入攻击下协商的脆弱性及检测与强化学习防御流程。