跳到正文
10月8日周四
  1. arXiv · cs.CL34

    基于 NeMo-Guardrails 代理的 SIEM/XDR 受限动作 AI 修复方案

    一篇 arXiv 论文提出面向 SIEM/XDR 事件响应的受限动作架构:SIEM/XDR 控制平面将 LLM 输出限定在封闭意图词汇表中,由端点代理执行,并配参数校验器兜底;外层用 NeMo-Guardrails 代理包裹 SOC 分析师 LLM。开箱即用的护栏将注入攻击召回率从 25.0% 提升至 94.5%,误报率 0.1%;红队演练证实该设计可在命令跨越信任边界前遏制 LLM 失效模式。受限于护栏延迟,方案建议采用人机协同或延迟执行模式。

10月7日周三
  1. arXiv · cs.CL50

    arXiv 论文提出对齐缩放定律框架并给出首批预注册实测结果

    Jeremy Canale 在 arXiv 发布论文,将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架,指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括:Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长;Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48,sycophancy 和预置后门未能判定,其中后门在触发器已知时可快速移除,但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。

10月4日周日
  1. arXiv · cs.CL41

    Penumbra:面向监管义务的样本高效对抗搜索

    arXiv 论文提出 Penumbra,一种针对 AI 智能体监管义务的样本高效对抗搜索方法,从已验证锚点出发在扩展编辑预算下寻找仅差一步编辑即可翻转合规性的响应对,并由双评估器委员会裁决。在金融咨询章程的 60 条筛查义务上返回 144 对合规/违规响应对,自适应分配在 59% 候选上达到均匀分配全预算覆盖率,等记录下覆盖 1.43 倍于朴素枚举的失败模式。临床分诊章程在 18 条义务上复现出 49 对结果。该方法已被 NeurIPS 2026 EvoRobust 工作坊接收。

10月3日周六
  1. arXiv · cs.CL49

    从潜空间到 Jacobian 空间:测量、规避并对抗安全内容的可及性

    arXiv 论文提出两种量化桥梁——输运放大谱 A_ℓ 和 base-vs-tuned 配对协议——研究模型内部安全内容在 Jacobian 空间的可读性。在 135M 至 1.5B 的四组模型对上,0.5B 模型经 DPO 训练后拒绝行为上升而 J-space 识别降至随机水平。部署审计显示 monitor-aware GCG 后缀在所有规模下零行为代价地压制监控器,仅学习型监控器能抵御自适应再攻击。

9月10日周四
  1. Anthropic · 威胁情报77

    Anthropic 威胁情报报告:2025 年 12 月至 2026 年 8 月期间 Claude 遭滥用事件与处置

    Anthropic 威胁情报团队发布 2026 年 9 月报告,披露 2025 年 12 月至 2026 年 8 月间识别并处置的多起 Claude 恶意滥用案例,覆盖网络行动、影响力行动、监控、诈骗、生物滥用、常规武器和蒸馏七个领域,涉及 Claude Haiku、Sonnet 和 Opus 模型。案例包括疑似与 Midnight Blizzard 相关的 GTG-20006 用 AI 自动化重建恶意软件以规避检测,疑似 ShinyHunters 关联团伙用 AI 加速凭据窃取与数据勒索,以及一个中文威胁组织 GTG-10007 运行自动化漏洞挖掘流程,一个月内对网络设备产生十余个潜在零日发现。

    推荐理由:Anthropic 以当事方身份披露多起 Claude 滥用案例和攻防细节,读者可以借此了解 AI 如何改变网络攻击的成本结构。

6月3日周三
  1. Anthropic · 威胁情报56

    Anthropic 将一年内 832 个 AI 恶意账号映射到 MITRE ATT&CK,发现框架未覆盖智能体式攻击行为

    Anthropic 发布威胁情报报告,将 2025 年 3 月至 2026 年 3 月期间因恶意网络活动被封禁的 832 个账号映射到 MITRE ATT&CK 框架,部分结果曾发表于 Verizon 2026 DBIR。报告发现 67.3% 的账号用 AI 编写恶意软件,6.5% 用于横向移动;被评为中风险及以上的攻击者占比从上半年 33% 升至下半年 56%,AI 使用正从初始入侵转向入侵后阶段。报告指出传统风险判别信号(使用技术数量、所用平台)已与攻击者风险水平脱钩,而 MITRE ATT&CK 尚未收录 AI 智能体式编排等高危行为;Anthropic 已在最强模型上部署网络安全防护措施,并与 MITRE 讨论框架演进。

    推荐理由:Anthropic 用一年内 832 个被封禁账号的实测数据评估 MITRE ATT&CK 对 AI 攻击的覆盖情况, defenders 可以据此了解传统风险判别信号为何正在失效。