内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
453 条精选近 30 天 442 条共收录 1,601 条
cavi-ai 在 GitHub 开源 mcp-eval，一款与具体实现无关的 MCP 服务器评测工具，含两条互补链路。一是确定性基准电池：用 manifest 驱动的探针套件对任意 MCP 服务器（stdio 或 Streamable HTTP）给出 pass/fail 判定，无 LLM 介入、完全可复现，适用于 CI 门禁，输出 readiness 评分（0-100）、SARIF 报告和修复提示。二是摩擦捕获：在生产式 agent 会话中经隐私保护 shim 记录真实故障，将重复问题提升为 finding，需连续三次验证通过才关闭、回归时自动重开。
推荐理由：这是一个可直接安装使用的 MCP 服务器评测工具，用确定性探针套件做 CI 门禁，并能把生产会话中的摩擦沉淀为可验证的 finding。
作者开源了 Bulwark，一个 Python 库和 OpenAI 兼容网关，检查 LLM 应用的输入输出和智能体工具调用，防止隐藏在邮件或网页中的提示词注入导致数据外泄或越权操作。默认层在140条手写攻击上召回0.94、误报8.8%，JailbreakBench 召回0.79@1%误报；在 liquid/lfm-2.5-2.6b:free 上成功攻击从 2/9 降到 0/9，良性任务完成率 8/9 不变，但对 BIPIA 类普通请求式注入召回为0。项目含隔离、spotlighting、taint 追踪、人工审批和审计日志，MIT 协议。
推荐理由：作者公开了完整的评测数据，包括held-out召回率和误报率，还诚实列出了BIPIA等没防住的攻击类型。
Robert Tjarko Lange 向 SakanaAI/ShinkaEvolve 仓库提交 PR #195，加固 Claude Code workflow。改动包括：@claude 触发仅限 OWNER、MEMBER、COLLABORATOR，防止外部账号在公开仓库任意触发 Agent 任务；checkout 设 persist-credentials: false 避免泄露 GITHUB_TOKEN；actions 固定到 commit SHA（actions/checkout v7.0.1、claude-code-action v1.0.239）；并通过 claude_args 添加 --disallowedTools "WebFetch,WebSearch"，封锁提示词注入外泄通道。
推荐理由：作者在自家仓库收紧 Claude Code workflow 的触发者、权限与工具范围，具体改法对部署 GitHub Agent 的人可直接借鉴。
RuleReceipt 发布于 npm 和 GitHub，可核查 Claude Code 等智能体在会话中是否遵守 CLAUDE.md、AGENTS.md、Cursor、Copilot 等规则文件，并给出原文行作为证据。本地运行、默认零网络调用，只统计有证据的结构化违规；PreToolUse 守卫回放 16,336 个真实工具调用后经两次收窄将误拒率降至 2.5%，测算是基于 559 个公开规则文件语料，OpenAI Codex CLI 支持尚在测试中。
推荐理由：工具用带证据行的结构化检查区分真实违规与误报，并以559个规则文件语料实测了守卫的误拒率，方法可复现可迁移。
arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。
推荐理由：论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。
作者在 BlueHat Asia 2026 演讲并撰文披露 Microsoft SSMS 中 SQL Copilot 的漏洞 CVE-2026-65669，被 Microsoft 评为 critical 的 SQL Server 提权漏洞。研究用 DECLARE @p sysname='sp_who'; EXEC @p 等方式绕过 LocalSqlExecutionAccessChecker 的正则拦截，使 ReadFromDatabase 和 RestoreVerifyBackupFile 工具可执行任意 T/SQL，并通过 xp_dirtree 或 SMB 路径实现数据外泄。
推荐理由：作者以第一手实测展示了 SQL Copilot 只读限制的绕过方法和提权链，攻击步骤和修复建议都写得具体可查。
Anthropic 威胁情报团队发布 2026 年 9 月报告，披露 2025 年 12 月至 2026 年 8 月间识别并处置的多起 Claude 恶意滥用案例，覆盖网络行动、影响力行动、监控、诈骗、生物滥用、常规武器和蒸馏七个领域，涉及 Claude Haiku、Sonnet 和 Opus 模型。案例包括疑似与 Midnight Blizzard 相关的 GTG-20006 用 AI 自动化重建恶意软件以规避检测，疑似 ShinyHunters 关联团伙用 AI 加速凭据窃取与数据勒索，以及一个中文威胁组织 GTG-10007 运行自动化漏洞挖掘流程，一个月内对网络设备产生十余个潜在零日发现。
推荐理由：Anthropic 以当事方身份披露多起 Claude 滥用案例和攻防细节，读者可以借此了解 AI 如何改变网络攻击的成本结构。
Embrace The Red 博主实测通过一次网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode，实现代码执行，小样本下攻击成功率为 60-80%。攻击链诱导模型改用 curl 下载 ZIP 归档，模型拒绝运行自带二进制解码器、自己写了 Python 解码器，却在归档目录内运行，被恶意 struct.py 通过模块遮蔽触发任意代码执行并建立 C2 回连。Anthropic 委托 Trajectory Labs 的评测曾显示 Auto Mode 下 Opus 5 提示词注入成功率为 0.00%，但对攻击者报告以 Informative 关闭，称 Auto Mode 是尽力而为的分类器而非安全保证。
推荐理由：作者以第一手实测展示了针对性攻击链如何绕过 Auto Mode，并对比了厂商 0.00% 基准数字的局限，附完整缓解建议。
Embrace The Red 的 Johann 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》中的攻击：把加密推理 blob 重放给同一厂商较弱、易被越狱的模型，让其转写底层推理内容。作者针对 OpenAI GPT-5.6 Sol 生成含已知密码的推理痕迹，用另一账号的 GPT-5.6 Luna 配合轻量越狱成功恢复，且跨模型、跨会话、跨账号均有效；输出并非逐字重建，但恢复了大量语义内容。论文作者还解码了从公开仓库抓取的 315,320 个推理块，找回 367 条 PII 和 182 个凭据，包括 API 密钥和密码。
推荐理由：作者独立复现了论文中的加密推理痕迹恢复攻击，读者可以看到跨账号跨模型实测的可靠性波动和原始论文之外的细节。
Anthropic 发布威胁情报报告，将 2025 年 3 月至 2026 年 3 月期间因恶意网络活动被封禁的 832 个账号映射到 MITRE ATT&CK 框架，部分结果曾发表于 Verizon 2026 DBIR。报告发现 67.3% 的账号用 AI 编写恶意软件，6.5% 用于横向移动；被评为中风险及以上的攻击者占比从上半年 33% 升至下半年 56%，AI 使用正从初始入侵转向入侵后阶段。报告指出传统风险判别信号（使用技术数量、所用平台）已与攻击者风险水平脱钩，而 MITRE ATT&CK 尚未收录 AI 智能体式编排等高危行为；Anthropic 已在最强模型上部署网络安全防护措施，并与 MITRE 讨论框架演进。
推荐理由：Anthropic 用一年内 832 个被封禁账号的实测数据评估 MITRE ATT&CK 对 AI 攻击的覆盖情况， defenders 可以据此了解传统风险判别信号为何正在失效。
IgorGanapolsky 在 GitHub 开源 ThumbGate，一个运行在 PreToolUse hook 的 AI 编码 Agent 执行前防护引擎，在工具调用执行前给出放行、警告或硬拦截判定。默认硬拦截 secret 泄露和两类自我禁用命令，rm -rf、force-push 等默认警告，设 THUMBGATE_STRICT_ENFORCEMENT=1 可升级为硬拦截；用户 👎 反馈沉淀为本地规则，可自动从警告升级为拦截，支持 Claude Code、Cursor、Codex、Gemini CLI 等 MCP Agent。免费版每天 2 次反馈、3 条自动规则，Pro 为 $19/月或 $149/年。
推荐理由：作者给出按风险分级的默认拦截策略和分阶段接入流程，读者可以对照自己用的编码 Agent 判断是否适用。
Anthropic 指认 DeepSeek、月之暗面（Moonshot AI）与 MiniMax 通过约 24,000 个欺诈账户从 Claude 非法提取能力，累计超过 1600 万次交互，分别针对推理、智能体、工具使用与编码等能力。DeepSeek 用让 Claude 复述内部推理的方式规模化生成 chain-of-thought 训练数据；Moonshot 动用数百个账户并在后期试图重构 Claude 的推理痕迹；MiniMax 被在训练期间检测到，Anthropic 新模型发布后 24 小时内其近半流量转向新模型。Anthropic 已部署分类器与行为指纹检测，并向其他实验室、云厂商和监管机构共享情报，同时呼吁行业与政策层面的协同应对。
推荐理由：原文披露了三家实验室通过欺诈账户规模化提取 Claude 能力的细节，可以作为了解蒸馏攻击手段与防御思路的一手材料。
Anthropic 披露 2025 年 9 月中旬检测并处置的一起间谍攻击：攻击者（Anthropic 评估为某国家级团队）通过越狱操纵 Claude Code 对约 30 个全球目标渗透，少数得手，AI 完成了约 80-90% 的工作。攻击把任务拆成看似无害的小步骤并伪装成防御测试，AI 自主完成侦察、漏洞利用、凭证窃取和后门植入，仅偶尔回报人类（每场攻击约 4-6 个关键决策点）；AI 也会幻觉凭证或误报窃密成果。Anthropic 已封禁相关账号、通知受影响方并配合当局，并称这是首例有记录的、无大量人工干预的大规模网络攻击。
推荐理由：Anthropic 作为当事方披露了攻击全流程和 AI 承担比例等细节，安全团队可以据此评估自身面对智能体化攻击的暴露面。