跳到正文
只看AI 安全
10月23日周五
  1. arXiv · cs.AI49

    AgentPhishing：一个针对 LLM 邮件智能体自适应攻击的基准

    研究者推出 AgentPhishing 基准，评估说服式钓鱼攻击能否让 LLM 邮件智能体遵从恶意请求，并提出 PhishOpt 方法针对单个智能体优化可复用的邮件生成技能。在九个智能体的评测中，四个钓鱼检测率低于 10%，恶意请求遵从率高于 45%。结果表明传统钓鱼评测无法推断智能体安全性，需评估其对说服式恶意请求的响应。

  2. arXiv · cs.AI49

    Social-HUMINT：一个用 LLM 统一衡量社交媒体暴露程度的框架

    研究者提出 Social-HUMINT 框架，将 SOCMINT 与 Cyber-HUMINT 统一为涵盖 38 项能力的分类体系（专家验证 Fleiss' κ = 0.92），并实现为 LLM 增强的多智能体流水线。在真实参与者公开数据上，信息抽取 F1 = 97.3%，推断属性得分 4.73/5，远超基于规则和 NER 的基线。该框架可预测目标对个性化诱导选项的排序以间接评估易感性，帮助防御者在攻击者之前评估自身暴露风险。

  3. arXiv · cs.AI53

    arXiv 论文提出模拟控制评测 SCE，用模型模拟工具响应预测 AI 安全指标

    论文提出模拟控制评测（SCEs），用语言模型模拟工具响应替代真实环境来拓宽控制评测适用范围。在 LinuxArena 上，SCE 预测安全性的 RMSE 为 3.6 个百分点（5% 审计预算、五个监控器），优于 BashArena 的 10.1，对攻击策略等分布的 KL 散度比 BashArena 低十倍以上，可解释 78-85% 的跨环境方差，且通过模拟发现的策略可提升监控器对留存攻击的表现。

    推荐理由：论文用实测数据对比了模拟控制评测与独立控制设置预测安全的误差和 KL 散度，方法可迁移到 AI 控制评测设计。

  4. arXiv · cs.AI47

    EpiSEM-Bench：评估 LLM Agent 在证据缺失下的安全性与证据恢复

    arXiv 论文提出可执行基准 EpiSEM-Bench，评估 LLM Agent 在关键安全证据缺失时的不安全执行、安全边界与证据恢复能力。基准包含六个领域的 300 组不安全/安全配对任务，通过系统性抑制关键事实，测量不安全执行并确定最小观测失败基数。评测显示十个模型在缺失证据鲁棒性上差异显著；恢复访问降低了全部十个模型的不安全执行，但各 Agent 是否主动获取缺失事实并据此行动各不相同。

  5. GitHub · 3D 生成新仓库56

    TrustLens 开源：AI 与 LLM 深度伪造检测及数字证据分析工具

    GitHub 新仓库 TrustLens 发布，用于 AI + LLM 深度伪造检测与数字证据分析，整合了 Facebook $1M Deepfake Detection Challenge 夺冠的 EfficientNet-B7 人脸交换检测器（numpy 重实现、不依赖 PyTorch，约 267 MB）、视觉 LLM 和十余项取证测试，可检测照片、视频、语音、截图、通知和活动海报。工具用英文和印地语输出证据说明，对照 VTOP 官方记录核查声明，提供 Ed25519 签名的 PDF 报告与哈希链保管日志，附带 Chrome 扩展和手机扫码使用。作者同时列出每项测试在真实数据上的实测表现与角色限制，如真实照片基线假阳性 0/4，并明确说明无法检测克隆语音等局限。

  6. arXiv · cs.CL50

    UniGuard：多视图护栏学习实现跨接口安全泛化

    研究者提出 UniGuard 训练框架，从同一安全案例的多个语义对齐视图学习接口不变的安全表征，并将 1,000 个公开安全案例转化为 UniGuard-FT 数据集，训练出 0.6B 模型 UniGuard-0.6B。在未见接口基准 ATBench、PolicyGuardBench 和 DynaBench 上，该模型平均比预训练护栏提升 45.12 F1，期望校准误差降低 35.41，且仅用合成数据训练即可与 Claude-Sonnet-4.5、GPT-5.2 等更大护栏模型相当。

  7. arXiv · cs.CL54

    arXiv 论文用工资单修改测试检验 15 个 AI 模型伦理边界的稳固程度

    一篇 arXiv 论文（arXiv:2610.30751）用同一工资单收入修改请求测试 15 个模型，共 445 次可观察试验。结果是模型在说明贷款用途时 14.1% 的情况下发起编辑调用，省略用途时为 33.1%，把修改描述为修正打印错误时达 66.2%；Astra 拒绝全部 10 次贷款用途请求但在 10 次省略用途试验中全部发起调用，Fable、Opus 和 Muse Spark 在三种措辞下均未发起，Sonnet 在后两种措辞下有部分发起。论文注明测试文件为标记文档且工具为模拟，结果仅反映单一情境，不构成整体伦理排名或真实有害编辑成功的证明。

    推荐理由：原文用统一测试请求量化了措辞变化对15个模型拒绝边界的影响，并给出三档触发率数据可对照。

  8. arXiv · cs.AI47

    危害在于行为，审核止于词汇：语言与文化如何决定自动化安全系统保护谁、消音谁

    一篇 arXiv 论文提出，内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害，并归纳为七种失败模式。作者提出一套评估协议，在 11 种语言上测试五个开放系统，55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式；能力提升在九种语言中改善判别，但阿拉伯语和罗马化印地语仍接近随机，最受益与最不受益语言社区之间的差距随能力扩大。

  9. GitHub · 去对齐工具与仓库45

    llm-guard-proxy：面向 OpenAI 兼容应用的本地优先安全代理

    GitHub 开源 llm-guard-proxy，一个本地优先的安全代理层，在流量到达客户端或模型前用可配置策略检查提示词与模型响应，兼容 OpenAI、Ollama、llama.cpp、vLLM 等 OpenAI 兼容后端。内置 secrets、prompt injection、regex 等确定性分类器，支持 YAML 策略与 4 个预置策略，可选通过 Ollama 运行 Llama Guard 3（llama-guard3:8b）。项目为实验性质，尚不适用于不可信的生产流量。

  10. GitHub · 去对齐工具与仓库45

    Jeevan2191999/jnvoy：面向 LLM 流量的隐私与安全网关

    开源项目 jnvoy 是一个面向 LLM 流量的隐私与安全网关，部署在应用与任意 LLM 之间，自动识别提示词中的个人数据并以 token 替换，回复返回后再还原真实值，同时拦截 prompt injection 并扫描 MCP 工具流量。它支持英国、美国、欧盟、中国居民身份证号等多地区身份标识识别，审计日志只记录发现内容不存原文；可选的二次检查在作者自建测试集上将召回率从 93% 提升到 100%，默认关闭。

  11. GitHub · 灵魂体仓库57

    pi-secret-scanner v0.2.4 发布：为 Pi 编码智能体拦截工具输出与请求中的密钥

    koopycat 发布 pi-secret-scanner v0.2.4，这是一个 Pi 编码智能体扩展，可检测工具输出和发往 LLM 请求中的凭证并在离开本机前替换为类型化占位符，如 [REDACTED:AWS_ACCESS_KEY_ID]。检测结合已知凭证格式规则与基于熵的未知密钥探测，熵检测默认开启，提供 redact、warn、confirm、off 四种模式，支持 .secret-scanner.json 或 Gitleaks 兼容白名单，要求 Pi 0.74.0 或更新版本，采用 MIT 许可。作者强调检测是启发式的，属于最后防线，不能替代避免把凭证写入提示词、文件、日志和 shell 输出。

    推荐理由：原文给出了该扩展的检测机制、四种模式和安全边界说明，读者可以直接评估它在本机防密钥泄露中的定位。

  13. GitHub · 去对齐工具与仓库67

    AgentShield 开源：面向自主 AI Agent 的低延迟安全网关与事件回放引擎

    YashJ2303 在 GitHub 开源 AgentShield，一个面向自主 AI Agent 的低延迟安全网关与事件回放引擎，可实时拦截并按声明式策略评估 Agent 工具调用、从遥测流中脱敏凭据与 PII，并提供离线事件回放以在部署新策略或模型前检测回归。评测显示对建模过的破坏性操作拦截率 100.0% [92.1, 100.0]%，对未建模主动攻击为 45.5% [21.3, 72.0]%（对比 blocklist 的 9.1%，置信区间重叠），90 个良性任务误拦截 0.0%，完整插桩工具调用开销中位数 +18.046 ms p50（独立策略检查约 4.6 ms p50）；回放回归检测 recall 25/25、specificity 23/25、precision 25/27。

    推荐理由：作者给出了带置信区间的拦截率、误拦截率和延迟开销数据，并披露了模拟代理与未验证部分的局限，便于评估该网关的适用性。

  14. GitHub · 灵魂体仓库71

    landmines 开源：用 lockfile 匹配 GitHub 已知 bug，在编码 Agent 编辑前拦截

    devanshranjan10 发布开源工具 landmines，它读取项目 lockfile 中固定的精确版本，检索针对该版本的开放 GitHub issue 并生成索引，通过 pre-edit hook 或写入 AGENTS.md/CLAUDE.md 的已知 bug 段落让编码 Agent 在编辑前避开这些坑。基准测试中，Claude Sonnet 5.5 无辅助通过 72/84（86%），加入 landmine rules 段落后通过 83/84（99%）；同批对比中 web search 开启为 36/42、Context7 docs MCP 为 35/42，且 84 个会话中 Agent 从未主动调用这两个工具。

    推荐理由：作者用 84 个 held-out 任务对比了规则段落、pre-edit hook 与 web search、Context7 的效果，基准局限也写得坦率，方法可参考。

10月22日周四
  2. GitHub · 去对齐工具与仓库52

    Wvdstoep 开源 ghost-browser：让 Codex 和 Claude Code 通过 MCP 操控真实 Chromium 浏览器

    Wvdstoep 在 GitHub 发布 ghost-browser，通过 MCP 让 Codex、Claude Code 等客户端连接真实 Chromium，并用 Set-of-Mark 编号标注替代 CSS 选择器来驱动点击、输入和读取。项目内置 HTTP API、会话隔离与 SSRF 防护，附带四层自主安全侦察与漏洞审计引擎，覆盖 DNS、TLS、XSS、BOLA/IDOR、SQLi 等检测并生成 curl PoC 与补丁。AI 导航循环、recipe 编译器和计费尚未构建，仓库地址为 https://github.com/Wvdstoep/ghost-browser。

  3. GitHub · 3D 生成新仓库31

    Sentinel Governed Workflow Twin 开源：治理型智能体工作流参考实现

    Juan A. Martinez Diaz（BAI 创始人）发布开源参考实现 Sentinel Governed Workflow Twin，展示 AI 智能体“有能力”不等于“被授权”：通过授权注册表、确定性仲裁、HMAC 签名许可与证据账本执行受治理的工作流。项目内置 17 步合成金融服务工作流，24 项参考测试已于 2026 年 10 月 20 日在 CI 中通过；合成基准显示周期时间从 960 分钟降至 190 分钟、决策证据完整性从 45% 升至 100%。

  4. GitHub · 灵魂体仓库72

    Latet 开源 AI Agent 本地隐私防火墙

    Latet-AI 发布开源的 AI Agent 本地隐私防火墙，在请求离开本机前掩码密钥、密码和个人数据，并在回答中本地还原，云端模型只见假值。支持 Claude Code、Codex、Gemini CLI、Hermes Agent 等的插件与网关接入，可选本地名称模型（约 1.6 GB）、OCR 和本地语言模型审查，93 个测试用例中 Qwen3.5-4B 检出 84%、Ternary-Bonsai-2-27B 检出 97%。项目无云端服务与遥测，采用 source-available 许可，文档在 https://docs.latet.ai/ 。

    推荐理由：README 讲清了本地防火墙的掩码与还原机制、各 Agent 接入方式和已知盲区，适合想在敏感数据上用云端模型的人评估可迁移做法。

  5. GitHub · 去对齐工具与仓库47

    GitHub 开源 contract_heldout_ipi：LLM 智能体 IPI 防御评测协议

    GitHub 上的 contract_heldout_ipi 项目提供一套 LLM 智能体间接提示注入（IPI）防御评测协议，包含可机器读取的 episode contract、referee 校验和 train 与 held-out 的迁移差距报告，并强调这不是新威胁模型或最强防御声明。项目支持通过 OpenAI 兼容配置运行攻击、防御、judge 等多模型基线，也支持经 Cursor 调用 Grok 4.5 等模型，并内置 EmailSandbox 邮件场景与自适应攻防、协商共演化协议，ASR 由工具轨迹确定性评分。

  6. GitHub · 灵魂体仓库66

    jailbreak-skill：一个 LLM 红队提示词工程方法论仓库

    ADWMC 在 GitHub 发布 jailbreak-skill，一套面向 LLM 红队评估的提示词工程方法论，主张先规划假设、再组装提示词、最后凭证据判定，而非直接给出可复制的提示词。仓库含 19 个提示词模块、14 份方法论文档、3 条厂商路线和 4 级测试集，所有声明按 E0 到 E3 分级，并明确平台拦截、毒品武器类请求和直接索要成人内容属于已知死路。项目采用 CC BY-NC-SA 4.0 许可，作者强调这不是 OSI 开源许可证。

    推荐理由：它把越狱测试整理成可冻结的判定标准和证据分级方法，并明说了哪些域救不了，适合想系统做红队评估的读者。

  7. GitHub · 灵魂体仓库60

    BaleenCode 开源：基于 DeepSeek V4.1 Flash 的本地 Agent 工具，通过 provider 允许列表避免数据流向中国服务器

    Manta-Boardgame 发布开源工具 BaleenCode，类 Claude Code 的 Agent 应用，通过 Vercel AI Gateway 调用 deepseek/deepseek-v4.1-flash-1017（1M token 上下文），每次请求携带 providerOptions.gateway.only 允许列表，只使用 Together AI、Fireworks、Baseten、DeepInfra、Relace 五家美国零数据保留供应商，拒绝 Alibaba Cloud 和 DeepSeek 官方路由，回复若来自列表外公司会告警并 fail closed。

    推荐理由：作者开源了一个类 Claude Code 的 Agent 工具，把 provider 允许列表、路径限制和审批级别的实现都写清楚了，可作工程参考。

  8. GitHub · 去对齐工具与仓库21

    AI-Safety：面向 ML 与安全工程师的开源 AI 安全研究课程仓库

    GitHub 上的 AI-Safety 仓库为有经验的 ML 工程师、安全工程师及有志于 AI 安全研究者提供开源研究课程与项目仓库，核心路径免费、无需付费 API 或订阅。目前为在建状态：24 章和 10 个项目中完成 0 个，规划与治理层已验证，内容按章节分阶段发布，提供对齐研究、AI 安全工程、评测与保障三条路线，代码采用 MIT 许可、文本采用 CC BY 4.0。

  9. GitHub · 去对齐工具与仓库45

    AI Guardian Lab：在 AI 智能体执行 shell 命令前进行策略校验的开源工具

    AI Guardian Lab 在 AI 智能体执行 shell 命令前校验命令，智能体提议命令后由 Guardian 按 L1 allowlist、L2 模式、L3 意图和 L4 语义审查四层检查，默认仅模拟、不真实执行。1.6 版本提供 full profile，经 Ollama 启动本地小模型与 System One 观察者，System One 在 CPU PyTorch 2.13.0 上通过 shadow-only 验证，500 ms 预算仍不满足，full profile 采用 2 秒预算，强制执行在两种 profile 中均保持关闭。

  10. GitHub · 去对齐工具与仓库35

    FraudDistill：面向 LLM 欺诈协助响应检测的研究与实验框架开源

    GitHub 开源 FraudDistill 框架，用于检测大模型面对欺诈诱导时实际生成的回答是否构成欺诈协助，主张该属性是响应级且关系性的，需联合观察查询与回答。框架用 Multi-Agent Teacher 生成结构化信号，经 QLoRA 蒸馏出 1.5B 学生模型支持低成本本地推理，并通过 15% 查询率的选择性审计级联恢复召回，已在 Qwen、DeepSeek、GLM、Kimi 等 6 个直连目标模型上实测验证。

  11. GitHub · 灵魂体仓库65

    Split-View PDF 论文开源样本与验证代码，论文被 IEEE S&P 2027 接收

    Side Liu 和 Jiang Ming 的论文 What Users See Is Not What Models Read 被 IEEE S&P 2027 接收，仓库公开了配套样本与验证代码。内容包括 25 个最小提取差异 PDF（corpus_a）、25 个下游 LLM 评测 PDF 和 11 个 QA 适配 PDF，以及开源 PDF 解析器验证和 LLM API/Web 验证脚本，支持在 Ubuntu 上用 Python 3.10+ 和 Node.js 20.16+ 复现。

    推荐理由：论文配套仓库放出全部样本和验证代码，读者可以实际复现 PDF 对人和对模型显示内容不一致的攻击测试。

  12. GitHub · 灵魂体仓库47

    Nemesis Analyst：AI 辅助恶意软件脱壳与分析的开源工具

    GitHub 开源项目 Nemesis Analyst 提供 AI 辅助的恶意软件脱壳与分析：在一次性 Windows VM 中用 x64dbg/x32dbg 运行加壳样本，在自解包时捕获真实 payload、恢复勒索软件密钥并可生成解密器。每次运行输出 ANALYSIS.pdf 报告及含 YARA、Sigma、Suricata、STIX、IOC 的检测包，并可经 MCP 从任意 LLM 驱动；文档演示了对 packed Dridex 样本的完整分析。

  13. GitHub · 灵魂体仓库45

    Ariadne：基于 Harbor 的语言模型智能体安全挑战评测框架开源

    开源项目 Ariadne 基于 Harbor 评测语言模型智能体解决安全挑战的能力，任务改编自公开 CTF 题目和 CVE。所有任务在经过隔离校验的 Docker 沙箱中运行，由独立 verifier 容器评分，web_search 与 web_fetch 经过主机端 web 过滤器，容器无互联网路由，API 密钥不进入容器。该项目为概念验证，每个实验每任务跑 3 次独立尝试并冻结配置；公开的 Mistral Large 4 和 MiMo v2.6 Pro 两次 pwn-01 探索性尝试均未解题，都在时限前耗尽上下文。

  14. GitHub · 灵魂体仓库57

    zero-trust-llm-firewall 开源：本地脱敏网关让律所安全使用 Claude 和 GPT

    typicaladrian 发布 zero-trust-llm-firewall，一个本地部署网关，在提示词离开内网前将姓名、案卷、金融和健康信息替换为占位符，模型回复再在内存中还原。流水线为正则、哈希客户名单、GLiNER2 NER 和全局一致性扫描，在 CUAD 合同上测得 91.4% 脱敏召回率，CPU 吞吐约每千词 11 秒；提供 OpenAI 兼容 API、审计日志和月度 PDF 报告，是 Elm Tech Solutions Zero-Trust AI Edge Gateway 硬件产品的核心。

    推荐理由：开源的本地脱敏网关，给出了基于 CUAD 合同的脱敏召回率实测数据，律所类隐私场景可直接参考复用。

  15. GitHub · 灵魂体仓库60

    llm-fw 发布本地 LLM 流量防火墙，实时拦截提示注入且无需改代码

    llm-fw 发布本地 LLM 流量防火墙，通过 HTTPS_PROXY 或 OS 级 sinkhole 部署在工具与 API 之间，实时拦截提示注入和越狱请求，无需修改代码、全程不出本机。采用启发式规则、跨语言嵌入向量、可选本地 LLM judge 三级管线，覆盖 OpenAI、Anthropic、Gemini 等 15+ 服务商和 20+ 语言，另含 DLP 密钥扫描、MCP 工具防火墙、RAG 投毒检测和响应侧外泄过滤；自测 110 条攻击全部召回、良性语料 FPR 13.38%，p50 延迟 36ms。软件并非开源，采用 PolyForm Noncommercial License 1.0.0，非商业用途免费，商业使用需购买许可证。

    推荐理由：原文给出了各攻击类别的召回率、误报率和延迟数据，读者可以据此评估这个本地防火墙实际拦截能力，而不仅是功能清单。

  16. GitHub · 3D 生成新仓库33

    ChaosGuard：自托管的 AI 代码安全扫描与混沌工程平台

    开源项目 ChaosGuard 是一个自托管 AI 安全平台，可扫描任意 GitHub 仓库，提供 RECON、HUNTER、SIEGE、LIVE 四级递进扫描，耗时从约 1 秒到约 35 分钟不等。每项发现均附带自动生成的代码修复、统一 diff 和一键创建 PR。平台通过 Ollama 本地推理、ChromaDB 进行 RAG 代码理解，基于 Kafka 的架构可从单机扩展到 Kubernetes 集群，并提供混沌工程韧性分析与完整可观测性栈。

  17. AIHOT · 精选29

    OpenAI 发布 Codex 技能帮助网站自查 PHP 关键漏洞影响

    OpenAI 发布 Codex 技能，引导用户运行 github.com/openai/php2shell-checker 仓库自查网站是否受 PHP 关键漏洞影响。该漏洞源于其 Patch the Planet 计划中 OpenAI 模型协助研究员发现，修复涉及 PHP 引擎大改，经约两个月协调后披露。使用 PHP 的网站可升级版本并应用安全厂商的缓解措施。

  18. GitHub · 去对齐工具与仓库25

    Arielsnts/QS_2026-2_AnythingLLM_atividade2：生成式 AI 质量评估课程作业仓库

    该仓库是软件质量课程 2026.2 学期作业（AV2），围绕 AnythingLLM 开展「Contexto sob Pressão」测试：对比 P1、P2、P3 三版提示词在正确、缺失、无关与冲突上下文下的表现，审计引用来源并给出改进计划。仓库含测试用例、证据与威胁模型文档，支持克隆复现。

10月21日周三
  1. Reddit · r/LocalLLaMA20

    opencode 使用本地模型时是否仍向其服务器发送聊天数据？LocalLLaMA 用户提出疑问

    一位 Reddit r/LocalLLaMA 用户称，opencode 在搭配本地 qwen3.8 模型时仍建立网络连接，据 Gemini 的回答，其默认会将聊天内容发送到自己的服务器用于生成标题、compaction 等。发帖者担心该工具获 VC 资助且做法不够透明，询问是否属实及有何替代方案。

  5. GitHub · 灵魂体仓库62

    Provael 发布：仿真中对开源 VLA 机器人策略做红队评测的 CLI 工具

    Provael 发布了一个 Python CLI，在仿真环境中对开源 VLA 机器人策略做红队测试，报告对抗攻击成功率（ASR）并附良性对照、95% 区间和证据标签，Apache-2.0 开源、可经 pip 安装并接入 CI。CPU stub 确定性运行 20 秒内产出报告；实测配置 SmolVLA × LIBERO-Object 在 roleplay 指令下 42/50 离开 keep-out 包络（84%），良性基线 1/50，McNemar p = 9.1e-13，对照显示这是长命令下的脆弱性而非攻击者控制；π0.5 有初步实测，其余注册适配器为脚手架。工具仅限仿真与防御用途，输出 report.json、SARIF、OSCAL、CycloneDX ML-BOM 和签名证明等证据包。

    推荐理由：README 给出对抗攻击成功率与良性对照并列的实测数据，可看到纯仿真红队 VLA 策略的完整证据链做法。

  6. GitHub · 灵魂体仓库27

    jihwan21-kim/llm_agents：面向浏览器智能体实验的本地 Mock + mitmproxy 录制与回放环境

    GitHub 仓库 jihwan21-kim/llm_agents 更新了面向浏览器智能体实验的本地回放环境：支持显式选择加入的公开站点 POST 录制（PUT/PATCH/DELETE 仍被拦截，清洗后的 HAR 会丢弃 POST 内容），并提供代理 Chrome 起始页、破损 mock 按钮的可视化编辑器和站点允许列表策略。原始第三方 JavaScript 仅以只读形式归档供查看，不执行；快照点击成功不代表源码运行时或后端等价。