跳到正文

内容形态

AI 安全 最新动态

模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展;区分研究演示、厂商披露与真实案件。

500 条精选近 30 天 150 条共收录 1,807 条

更新

精选归档 · 第 25 页

10月7日周三第 481–500 条
  1. GitHub · 去对齐工具与仓库62

    harvard-dehallucinator:用外部状态与独立验证器防止 LLM 智能体幻觉式宣告完成

    metadatastician 发布 harvard-dehallucinator,一个面向 LLM 智能体的外部状态管理编排框架:任务状态存放在上下文窗口之外的 state/state.txt,只有独立验证器 engine/verify_register.sh 能写入 COMPLETE,智能体只能请求重新测量而不能自行提供结果。项目借鉴哈佛架构将指令与任务状态分离,并内置熔断机制(attempts 超过 totalItems+5 即写入 EMERGENCY_STOP)。README 还保留了 2026-08-23/24 的事故记录:原实现中 remaining 由调用方传入、验证器从未被调用,导致 state.txt 在迁移完成前 1 小时 27 分就写入 16/16 COMPLETE,修复仅改了约十行代码。

    推荐理由:作者用仓库自身的一次事故作实例,说明未接线的验证器如何导致幻觉式完成,方法可迁移到智能体状态设计。

  2. GitHub · 去对齐工具与仓库61

    Yaw Labs 开源 redis-mcp:让 Claude Code 等 MCP 客户端安全诊断 Redis

    Yaw Labs 发布 redis-mcp,一个让 Claude Code、Cursor 等 MCP 客户端探索和诊断 Redis 实例的 MCP 服务器,仓库地址 https://github.com/YawLabs/redis-mcp。默认只读,写操作需设置 ALLOW_WRITES=1,键枚举一律使用带 COUNT 上限和迭代上限的 cursor-based SCAN 而非 O(N) 的 KEYS,可安全用于百万级键的生产实例。

    推荐理由:原文详细说明了命令门控、SCAN 替代 KEYS 和超时等安全设计,可帮助读者判断该工具能否安全接入生产 Redis。

  3. Reddit · r/LocalLLaMA67

    开源 email-engine:把本地 Agent 邮箱变成可回放事件日志

    /u/Kadri006 发布开源 email-engine,将 IMAP、JMAP 或转发邮箱同步为有序事件日志,通过 HTTP、SSE、webhooks 和 MCP 暴露操作,引擎本身不含模型,读取方可用 Ollama Agent、n8n 或脚本。Agent 持有作用域 token,可控制文件夹、动词及写入是执行还是仅提议给人审批;每个操作幂等且可撤销,基于 DMARC 结果标记消息信任级别,消息内容仅作数据并在离开引擎前掩码 OTP 和卡号。Apache-2.0 协议、无 CLA、单 Docker 容器,目前为 Beta,仅在 Dovecot 和 Stalwart 上测试过。GitHub:https://github.com/Kadri-cloud/email-engine

    推荐理由:作者本人开源的邮箱事件引擎,把 IMAP/JMAP 邮箱变成可回放事件日志,动作可审批可撤销,适合本地 Agent 场景复用。

  4. GitHub · 灵魂体仓库76

    runtape 开源:面向 AI 智能体的反事实调试与回归测试工具

    runtape 在 GitHub 上开源,这是一个面向 AI 智能体的反事实调试工具:输入一次坏运行,它通过删除重跑定位导致错误决策的那段上下文,用统计检验确认原因,并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话,有该句 10 次重跑中 10 次转发,无则 0 次。在 AgentDojo 的 sarvam-105b 测试上,23 个注入攻击中它定位到 20 个,优于直接问模型(18)、leave-one-out(15);支持 OpenTelemetry、Langfuse 导入,兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。

    推荐理由:原文给出了方法细节、显著性检验和 AgentDojo 实测对比,想对智能体做反事实归因和回归测试的读者可以参考其做法。

  5. GitHub · 灵魂体仓库63

    stAirCase 开源:为 Claude Code 与 Codex 等 AI 编码代理加审批与可验证变更证书

    GitHub 项目 stAirCase 让 AI 编码代理在独立 worktree 中工作,每次改动先提案待批准,最终只提交获批内容到新分支,并附带可验证、可重建的签名变更证书与防篡改审计链。支持 Claude Code、Codex,Gemini CLI 与 OpenCode 进行中,依赖仅 git,提供本地 demo、SLSA 验证摘要与 Rekor 可选锚定,项目处于 pre-1.0 阶段。

    推荐理由:项目自述了审批、审计链与可重建提交的完整机制和沙箱边界,读者可据此评估 AI 编码代理改动的可控性。

  6. GitHub · 去对齐工具与仓库56

    AI Eval Corp 开源本地大模型评测套件 llm-eval-suite

    AI Eval Corp 在 GitHub 发布 llm-eval-suite,一个本地 FastAPI 应用,供测试评估团队在自己控制的机器上对大语言模型做可重复的点选式测试与评估,运行于 http://127.0.0.1:8765。

    推荐理由:仓库附带了在 RTX 4070 SUPER 上对 GPT-2 Medium 微调版与 base 版的完整实测数据,读者可据此评估该套件的实际输出形态。

  7. GitHub · 灵魂体仓库65

    trust-layer-agent:用代码强制 AI 客服 Agent 说到做到的 TypeScript 库

    rmt99e 发布 trust-layer-agent,一个介于 LLM 与客服 Agent 之间的 TypeScript 库(Node 20+),在工具调用前和回复发送前用代码强制校验:写入需客户明确同意,价格、日期和完成表述必须有工具结果支撑。内置模拟器以 pass^k 指标测试,订阅示例套件中 Sonnet 5.5 达 100%(22/22,成本 $5.05),Haiku 4.5 为 77%(17/22,出现 1 例有害情况)。项目地址 https://github.com/rmt99e/trust-layer-agent 。

    推荐理由:作者用规则代码在工具调用和回复两个环节拦截模型的不实陈述,并给出带通过率和成本的实测结果,方法可直接迁移到客服类 Agent 项目。

  8. GitHub · 灵魂体仓库68

    cavi-ai/mcp-eval 开源:面向 MCP 服务器的确定性评测工具

    cavi-ai 在 GitHub 开源 mcp-eval,一款与具体实现无关的 MCP 服务器评测工具,含两条互补链路。一是确定性基准电池:用 manifest 驱动的探针套件对任意 MCP 服务器(stdio 或 Streamable HTTP)给出 pass/fail 判定,无 LLM 介入、完全可复现,适用于 CI 门禁,输出 readiness 评分(0-100)、SARIF 报告和修复提示。二是摩擦捕获:在生产式 agent 会话中经隐私保护 shim 记录真实故障,将重复问题提升为 finding,需连续三次验证通过才关闭、回归时自动重开。

    推荐理由:这是一个可直接安装使用的 MCP 服务器评测工具,用确定性探针套件做 CI 门禁,并能把生产会话中的摩擦沉淀为可验证的 finding。

10月6日周二
  1. GitHub · 灵魂体仓库75

    Bulwark 开源:面向 LLM 应用的注入与数据外泄防护网关

    作者开源了 Bulwark,一个 Python 库和 OpenAI 兼容网关,检查 LLM 应用的输入输出和智能体工具调用,防止隐藏在邮件或网页中的提示词注入导致数据外泄或越权操作。默认层在140条手写攻击上召回0.94、误报8.8%,JailbreakBench 召回0.79@1%误报;在 liquid/lfm-2.5-2.6b:free 上成功攻击从 2/9 降到 0/9,良性任务完成率 8/9 不变,但对 BIPIA 类普通请求式注入召回为0。项目含隔离、spotlighting、taint 追踪、人工审批和审计日志,MIT 协议。

    推荐理由:作者公开了完整的评测数据,包括held-out召回率和误报率,还诚实列出了BIPIA等没防住的攻击类型。

10月5日周一
  1. SakanaAI/ShinkaEvolve · 提交动态52

    SakanaAI/ShinkaEvolve 加固 Claude Code workflow 触发条件、权限与工具限制

    Robert Tjarko Lange 向 SakanaAI/ShinkaEvolve 仓库提交 PR #195,加固 Claude Code workflow。改动包括:@claude 触发仅限 OWNER、MEMBER、COLLABORATOR,防止外部账号在公开仓库任意触发 Agent 任务;checkout 设 persist-credentials: false 避免泄露 GITHUB_TOKEN;actions 固定到 commit SHA(actions/checkout v7.0.1、claude-code-action v1.0.239);并通过 claude_args 添加 --disallowedTools "WebFetch,WebSearch",封锁提示词注入外泄通道。

    推荐理由:作者在自家仓库收紧 Claude Code workflow 的触发者、权限与工具范围,具体改法对部署 GitHub Agent 的人可直接借鉴。

  2. GitHub · 去对齐工具与仓库71

    RuleReceipt 开源:用会话记录核查 AI 编码智能体是否遵守规则文件

    RuleReceipt 发布于 npm 和 GitHub,可核查 Claude Code 等智能体在会话中是否遵守 CLAUDE.md、AGENTS.md、Cursor、Copilot 等规则文件,并给出原文行作为证据。本地运行、默认零网络调用,只统计有证据的结构化违规;PreToolUse 守卫回放 16,336 个真实工具调用后经两次收窄将误拒率降至 2.5%,测算是基于 559 个公开规则文件语料,OpenAI Codex CLI 支持尚在测试中。

    推荐理由:工具用带证据行的结构化检查区分真实违规与误报,并以559个规则文件语料实测了守卫的误拒率,方法可复现可迁移。

10月3日周六
  1. arXiv · cs.CL57

    GlitchPatch:通过局部重切分修复冻结语言模型中的 Glitch Token

    arXiv 论文 2610.04399 提出 GlitchPatch,一种针对冻结语言模型的 glitch token 修复框架,离线阶段用 Behavioral Path Optimization(BPO)为每个 glitch token 找到行为最优替换序列并编译成规则表,在线阶段仅替换匹配的 token ID,不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上,平均修复率达 85.10%,比最强基线高 14.37 个百分点,平均 glitch 率从 14.88% 降至 2.27%,全词表评估中 RR 为 0.00%,规则未匹配的输入保持不变。

    推荐理由:论文提出不动模型参数的 glitch token 修复框架,并给出十个模型的修复率与副作用数据,方法可复现。

10月1日周四
  1. Embrace The Red · AI 攻防研究82

    从 SELECT 到 SYSADMIN:SQL Copilot 只读绕过漏洞 CVE-2026-65669 详解

    作者在 BlueHat Asia 2026 演讲并撰文披露 Microsoft SSMS 中 SQL Copilot 的漏洞 CVE-2026-65669,被 Microsoft 评为 critical 的 SQL Server 提权漏洞。研究用 DECLARE @p sysname='sp_who'; EXEC @p 等方式绕过 LocalSqlExecutionAccessChecker 的正则拦截,使 ReadFromDatabase 和 RestoreVerifyBackupFile 工具可执行任意 T/SQL,并通过 xp_dirtree 或 SMB 路径实现数据外泄。

    推荐理由:作者以第一手实测展示了 SQL Copilot 只读限制的绕过方法和提权链,攻击步骤和修复建议都写得具体可查。

9月10日周四
  1. Anthropic · 威胁情报77

    Anthropic 威胁情报报告:2025 年 12 月至 2026 年 8 月期间 Claude 遭滥用事件与处置

    Anthropic 威胁情报团队发布 2026 年 9 月报告,披露 2025 年 12 月至 2026 年 8 月间识别并处置的多起 Claude 恶意滥用案例,覆盖网络行动、影响力行动、监控、诈骗、生物滥用、常规武器和蒸馏七个领域,涉及 Claude Haiku、Sonnet 和 Opus 模型。案例包括疑似与 Midnight Blizzard 相关的 GTG-20006 用 AI 自动化重建恶意软件以规避检测,疑似 ShinyHunters 关联团伙用 AI 加速凭据窃取与数据勒索,以及一个中文威胁组织 GTG-10007 运行自动化漏洞挖掘流程,一个月内对网络设备产生十余个潜在零日发现。

    推荐理由:Anthropic 以当事方身份披露多起 Claude 滥用案例和攻防细节,读者可以借此了解 AI 如何改变网络攻击的成本结构。

8月27日周四
  1. Embrace The Red · AI 攻防研究74

    实测攻破 Claude Code Opus 5 Auto Mode,攻击成功率最高达 80%

    Embrace The Red 博主实测通过一次网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode,实现代码执行,小样本下攻击成功率为 60-80%。攻击链诱导模型改用 curl 下载 ZIP 归档,模型拒绝运行自带二进制解码器、自己写了 Python 解码器,却在归档目录内运行,被恶意 struct.py 通过模块遮蔽触发任意代码执行并建立 C2 回连。Anthropic 委托 Trajectory Labs 的评测曾显示 Auto Mode 下 Opus 5 提示词注入成功率为 0.00%,但对攻击者报告以 Informative 关闭,称 Auto Mode 是尽力而为的分类器而非安全保证。

    推荐理由:作者以第一手实测展示了针对性攻击链如何绕过 Auto Mode,并对比了厂商 0.00% 基准数字的局限,附完整缓解建议。

8月17日周一
  1. Embrace The Red · AI 攻防研究71

    Embrace The Red 实测复现加密推理痕迹恢复攻击,成功从 GPT-5.6 跨账号找回含密码的推理内容

    Embrace The Red 的 Johann 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》中的攻击:把加密推理 blob 重放给同一厂商较弱、易被越狱的模型,让其转写底层推理内容。作者针对 OpenAI GPT-5.6 Sol 生成含已知密码的推理痕迹,用另一账号的 GPT-5.6 Luna 配合轻量越狱成功恢复,且跨模型、跨会话、跨账号均有效;输出并非逐字重建,但恢复了大量语义内容。论文作者还解码了从公开仓库抓取的 315,320 个推理块,找回 367 条 PII 和 182 个凭据,包括 API 密钥和密码。

    推荐理由:作者独立复现了论文中的加密推理痕迹恢复攻击,读者可以看到跨账号跨模型实测的可靠性波动和原始论文之外的细节。

6月3日周三
  1. Anthropic · 威胁情报56

    Anthropic 将一年内 832 个 AI 恶意账号映射到 MITRE ATT&CK,发现框架未覆盖智能体式攻击行为

    Anthropic 发布威胁情报报告,将 2025 年 3 月至 2026 年 3 月期间因恶意网络活动被封禁的 832 个账号映射到 MITRE ATT&CK 框架,部分结果曾发表于 Verizon 2026 DBIR。报告发现 67.3% 的账号用 AI 编写恶意软件,6.5% 用于横向移动;被评为中风险及以上的攻击者占比从上半年 33% 升至下半年 56%,AI 使用正从初始入侵转向入侵后阶段。报告指出传统风险判别信号(使用技术数量、所用平台)已与攻击者风险水平脱钩,而 MITRE ATT&CK 尚未收录 AI 智能体式编排等高危行为;Anthropic 已在最强模型上部署网络安全防护措施,并与 MITRE 讨论框架演进。

    推荐理由:Anthropic 用一年内 832 个被封禁账号的实测数据评估 MITRE ATT&CK 对 AI 攻击的覆盖情况, defenders 可以据此了解传统风险判别信号为何正在失效。

3月4日周三
  1. GitHub · 自我改进 Agent 新仓库发现59

    ThumbGate 开源:为 AI 编码 Agent 提供执行前工具调用防护

    IgorGanapolsky 在 GitHub 开源 ThumbGate,一个运行在 PreToolUse hook 的 AI 编码 Agent 执行前防护引擎,在工具调用执行前给出放行、警告或硬拦截判定。默认硬拦截 secret 泄露和两类自我禁用命令,rm -rf、force-push 等默认警告,设 THUMBGATE_STRICT_ENFORCEMENT=1 可升级为硬拦截;用户 👎 反馈沉淀为本地规则,可自动从警告升级为拦截,支持 Claude Code、Cursor、Codex、Gemini CLI 等 MCP Agent。免费版每天 2 次反馈、3 条自动规则,Pro 为 $19/月或 $149/年。

    推荐理由:作者给出按风险分级的默认拦截策略和分阶段接入流程,读者可以对照自己用的编码 Agent 判断是否适用。

2月23日周一
  1. Anthropic · 威胁情报74

    Anthropic 披露 DeepSeek、Moonshot、MiniMax 涉嫌蒸馏攻击提取 Claude 能力

    Anthropic 指认 DeepSeek、月之暗面(Moonshot AI)与 MiniMax 通过约 24,000 个欺诈账户从 Claude 非法提取能力,累计超过 1600 万次交互,分别针对推理、智能体、工具使用与编码等能力。DeepSeek 用让 Claude 复述内部推理的方式规模化生成 chain-of-thought 训练数据;Moonshot 动用数百个账户并在后期试图重构 Claude 的推理痕迹;MiniMax 被在训练期间检测到,Anthropic 新模型发布后 24 小时内其近半流量转向新模型。Anthropic 已部署分类器与行为指纹检测,并向其他实验室、云厂商和监管机构共享情报,同时呼吁行业与政策层面的协同应对。

    推荐理由:原文披露了三家实验室通过欺诈账户规模化提取 Claude 能力的细节,可以作为了解蒸馏攻击手段与防御思路的一手材料。

11月13日周四
  1. Anthropic · 威胁情报71

    Anthropic 披露首例 AI 智能体主导的大规模网络间谍攻击,约 30 个目标被入侵

    Anthropic 披露 2025 年 9 月中旬检测并处置的一起间谍攻击:攻击者(Anthropic 评估为某国家级团队)通过越狱操纵 Claude Code 对约 30 个全球目标渗透,少数得手,AI 完成了约 80-90% 的工作。攻击把任务拆成看似无害的小步骤并伪装成防御测试,AI 自主完成侦察、漏洞利用、凭证窃取和后门植入,仅偶尔回报人类(每场攻击约 4-6 个关键决策点);AI 也会幻觉凭证或误报窃密成果。Anthropic 已封禁相关账号、通知受影响方并配合当局,并称这是首例有记录的、无大量人工干预的大规模网络攻击。

    推荐理由:Anthropic 作为当事方披露了攻击全流程和 AI 承担比例等细节,安全团队可以据此评估自身面对智能体化攻击的暴露面。