EpiSEM-Bench:评估 LLM Agent 在证据缺失下的安全性与证据恢复
arXiv 论文提出可执行基准 EpiSEM-Bench,评估 LLM Agent 在关键安全证据缺失时的不安全执行、安全边界与证据恢复能力。基准包含六个领域的 300 组不安全/安全配对任务,通过系统性抑制关键事实,测量不安全执行并确定最小观测失败基数。评测显示十个模型在缺失证据鲁棒性上差异显著;恢复访问降低了全部十个模型的不安全执行,但各 Agent 是否主动获取缺失事实并据此行动各不相同。
新闻、仓库与研究,按时间排列。
arXiv 论文提出可执行基准 EpiSEM-Bench,评估 LLM Agent 在关键安全证据缺失时的不安全执行、安全边界与证据恢复能力。基准包含六个领域的 300 组不安全/安全配对任务,通过系统性抑制关键事实,测量不安全执行并确定最小观测失败基数。评测显示十个模型在缺失证据鲁棒性上差异显著;恢复访问降低了全部十个模型的不安全执行,但各 Agent 是否主动获取缺失事实并据此行动各不相同。
dima6312 在 Hugging Face 发布 Flint-40B-A2.5B-abliterated,移除了 RecursiveSI Flint 40B-A2.5B 的拒绝方向,面向漏洞分析、恶意软件分诊、检测工程、CTF 和红队工具等安全工作。消融用 abliterix 从 attention 输出与 shared-expert、routed-expert 投影中移除拒绝方向,Optuna 经 50 轮试验选择强度。
同一新闻,精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》
GitHub 新仓库 TrustLens 发布,用于 AI + LLM 深度伪造检测与数字证据分析,整合了 Facebook $1M Deepfake Detection Challenge 夺冠的 EfficientNet-B7 人脸交换检测器(numpy 重实现、不依赖 PyTorch,约 267 MB)、视觉 LLM 和十余项取证测试,可检测照片、视频、语音、截图、通知和活动海报。工具用英文和印地语输出证据说明,对照 VTOP 官方记录核查声明,提供 Ed25519 签名的 PDF 报告与哈希链保管日志,附带 Chrome 扩展和手机扫码使用。作者同时列出每项测试在真实数据上的实测表现与角色限制,如真实照片基线假阳性 0/4,并明确说明无法检测克隆语音等局限。
研究者提出 UniGuard 训练框架,从同一安全案例的多个语义对齐视图学习接口不变的安全表征,并将 1,000 个公开安全案例转化为 UniGuard-FT 数据集,训练出 0.6B 模型 UniGuard-0.6B。在未见接口基准 ATBench、PolicyGuardBench 和 DynaBench 上,该模型平均比预训练护栏提升 45.12 F1,期望校准误差降低 35.41,且仅用合成数据训练即可与 Claude-Sonnet-4.5、GPT-5.2 等更大护栏模型相当。
一篇 arXiv 论文(arXiv:2610.30751)用同一工资单收入修改请求测试 15 个模型,共 445 次可观察试验。结果是模型在说明贷款用途时 14.1% 的情况下发起编辑调用,省略用途时为 33.1%,把修改描述为修正打印错误时达 66.2%;Astra 拒绝全部 10 次贷款用途请求但在 10 次省略用途试验中全部发起调用,Fable、Opus 和 Muse Spark 在三种措辞下均未发起,Sonnet 在后两种措辞下有部分发起。论文注明测试文件为标记文档且工具为模拟,结果仅反映单一情境,不构成整体伦理排名或真实有害编辑成功的证明。
推荐理由:原文用统一测试请求量化了措辞变化对15个模型拒绝边界的影响,并给出三档触发率数据可对照。
Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。
推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。
LAST-V2X 是一个由大语言模型(LLM)驱动的 V2X 应用自动化场景合成与安全测试框架,可将自然语言测试描述转译为可执行场景。框架结合交通仿真、通信语义建模与消息级故障注入,通过降级信息与真实信息的匹配执行来判定安全失效是否由通信引起,并利用参数搜索与 LLM 自反思的执行引导优化生成最小可复现失败案例。在多种 CARLA 环境和 V2X 安全应用上的实验表明,该框架能生成可靠场景、区分通信致因失效并显著提升失败发现能力。
SecLog-Bench 是一个可扩展的网络安全日志推理评测基准,构建覆盖 29 种攻击场景的仿真平台,结合审计日志、应用日志和网络流量多源证据,并为每个样本标注结构化分步证据链。对 8 个主流 LLM 的评测显示,最佳模型准确率仅 44.44%、Macro-F1 为 45.07%,最高 Stage Reasoning F1 仅 54.87%,表明当前模型攻击进展推理能力有限且推理质量与预测准确率常不一致。
研究者提出冲突感知 Logit 适配器 CALA,一种轻量级训练时反知识蒸馏防御方法。该方法在冻结的教师模型上附加小型残差 adapter,仅训练该 adapter,由代理学生模型识别易被模仿的位置并扰动输出分布,同时用正则化保留教师模型性能与流畅度。推理时开销较低且无需辅助模型,推理基准实验显示其显著降低学生模型成功模仿率,同时维持接近原教师模型的表现。
一篇 arXiv 论文提出,内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害,并归纳为七种失败模式。作者提出一套评估协议,在 11 种语言上测试五个开放系统,55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式;能力提升在九种语言中改善判别,但阿拉伯语和罗马化印地语仍接近随机,最受益与最不受益语言社区之间的差距随能力扩大。
SCOPE 将 LLM Agent 的策略编译为可执行程序,由小模型、确定性提取器和代码组合神经谓词,并通过生成对抗性反例联合优化程序与训练数据。在真实策略任务基准上,其平均准确率超过提示词优化、任务分解和工作流生成方法,且用最弱执行器优化的程序可迁移到其他模型,在廉价模型上达到接近前沿推理模型的准确率,预测更稳定且每个判定可通过谓词输出解释。
一篇 NeurIPS 2026 工作坊论文提出“事后审计幻象”:离线测试可能无法揭示智能体更新部署后是否安全。作者用匹配的安全与有害生命周期构造可执行审计边界,并给出错误-弃权权衡定理。Post-Audit Mirage benchmark 覆盖授权、调度与共享容量环境,实验表明监控在有利条件下可恢复关键区分,但对稀有群体、小效应或缺失观测可能仍无法判定。
一项 arXiv 研究将四个 LLM 的策略置于全连接、随机正则和异质网络上,用 10³ 到 10⁵ 个智能体玩命名游戏。最稀疏的网络可使共识形成最慢慢至十二倍,但也让部分混合交互下不收敛的情况恢复共识。攻击所需的临界智能体数量按枢纽、随机、低度节点递增,在异质拓扑上中位数分别为 3%、16% 和 35%,混合交互估计可能高估多智能体 AI 系统的鲁棒性。
GitHub 开源 llm-guard-proxy,一个本地优先的安全代理层,在流量到达客户端或模型前用可配置策略检查提示词与模型响应,兼容 OpenAI、Ollama、llama.cpp、vLLM 等 OpenAI 兼容后端。内置 secrets、prompt injection、regex 等确定性分类器,支持 YAML 策略与 4 个预置策略,可选通过 Ollama 运行 Llama Guard 3(llama-guard3:8b)。项目为实验性质,尚不适用于不可信的生产流量。
开源项目 jnvoy 是一个面向 LLM 流量的隐私与安全网关,部署在应用与任意 LLM 之间,自动识别提示词中的个人数据并以 token 替换,回复返回后再还原真实值,同时拦截 prompt injection 并扫描 MCP 工具流量。它支持英国、美国、欧盟、中国居民身份证号等多地区身份标识识别,审计日志只记录发现内容不存原文;可选的二次检查在作者自建测试集上将召回率从 93% 提升到 100%,默认关闭。
Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。
推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。
inferencegod 在 GitHub 发布 MIT 协议的 autonomy-loop 插件,让同一仓库上的 2-4 个 Claude Code 终端以 git baton 方式轮转 builder 和对抗式 reviewer,共享状态写入 LOOP-STATE.md。核心约束包括冻结不变量门禁、无编造规则、覆盖率棘轮、资金路径变更强制人工放行,并按 T0-T3 信任分级控制无人值守自动晋级;作者自述贡献在约束组合而非循环模式本身。
推荐理由:这个 Claude Code 插件把对抗式评审、冻结不变量和防幻觉约束打包成一键安装,价值在于约束设计而非循环本身。
Claude 官方宣布,下周起 Pro、Max 和 Team 套餐在 Claude 网页、桌面和移动端应用中的会话将默认以 auto mode 运行。auto mode 不再逐步请求用户批准,改由自动检查拦截高风险操作,用户可随时切回手动模式。其引用的 Claude Code 更新提到 auto mode 用独立分类器审查 shell 命令,测试中拦截了 89% 的危险命令,手动批准为 14%。
NVIDIA 开源了 NeMo Helix,一个用于改进和加固生产 Agent 的控制平面,可部署在本地或 Kubernetes,并通过 REST API、CLI 或 Python SDK 访问。它内置 guardrails(内容安全、越狱检测、PII 脱敏)、garak 红队测试、LLM-as-judge 等 RAG 评测,以及基于 Switchyard 的模型路由和 Data Designer 合成数据生成,且各能力以模块化插件提供默认实现、可替换。平台需 Python 3.12-3.14,支持 OpenRouter、OpenAI、Anthropic、Google Gemini、NVIDIA Build 或本地 Ollama 作为推理提供方,并自带轻量级 Web UI NeMo Studio(alpha)。
NikitaCherepov 在 GitHub 开源了多平台 AI Agent 系统 Chatter(AGPL v3.0),Agent 跑在服务器上,通过 Telegram bot 与 Electron 桌面端连接同一账号,可一键分享给朋友或家人。系统包含 backend-api、desktop-app、Telegram bot、admin-panel、chatter-manager、webapp-notes 和可选 voice-service,各组件以 Docker Compose 编排;模型定价自动从 OpenRouter 拉取,内置 Pinecone 向量记忆、语音唤醒与 TTS、智能家居、邮件、网页浏览、多角色聊天和 Runbook 等功能,支持按用户设预算限额。
推荐理由:原文完整给出了组件结构、安装命令与安全机制细节,读者可以直接评估这套自托管 AI Agent 平台是否值得自建。
koopycat 发布 pi-secret-scanner v0.2.4,这是一个 Pi 编码智能体扩展,可检测工具输出和发往 LLM 请求中的凭证并在离开本机前替换为类型化占位符,如 [REDACTED:AWS_ACCESS_KEY_ID]。检测结合已知凭证格式规则与基于熵的未知密钥探测,熵检测默认开启,提供 redact、warn、confirm、off 四种模式,支持 .secret-scanner.json 或 Gitleaks 兼容白名单,要求 Pi 0.74.0 或更新版本,采用 MIT 许可。作者强调检测是启发式的,属于最后防线,不能替代避免把凭证写入提示词、文件、日志和 shell 输出。
推荐理由:原文给出了该扩展的检测机制、四种模式和安全边界说明,读者可以直接评估它在本机防密钥泄露中的定位。
一位 Reddit 用户在 OpenClaw + Ollama 环境中使用 GLM 5.3 Flash 时,尝试 SillyTavern 的 RF 2.2.1 越狱预设,模型始终拒绝并提示逆向工程商业产品违法。同一预设直接在 Ollama 终端中测试却有效,该用户怀疑是 OpenClaw 的内置预设覆盖了用户设置,发帖询问解决方法。
YashJ2303 在 GitHub 开源 AgentShield,一个面向自主 AI Agent 的低延迟安全网关与事件回放引擎,可实时拦截并按声明式策略评估 Agent 工具调用、从遥测流中脱敏凭据与 PII,并提供离线事件回放以在部署新策略或模型前检测回归。评测显示对建模过的破坏性操作拦截率 100.0% [92.1, 100.0]%,对未建模主动攻击为 45.5% [21.3, 72.0]%(对比 blocklist 的 9.1%,置信区间重叠),90 个良性任务误拦截 0.0%,完整插桩工具调用开销中位数 +18.046 ms p50(独立策略检查约 4.6 ms p50);回放回归检测 recall 25/25、specificity 23/25、precision 25/27。
推荐理由:作者给出了带置信区间的拦截率、误拦截率和延迟开销数据,并披露了模拟代理与未验证部分的局限,便于评估该网关的适用性。
GitHub 开源项目 SupportOps 是一个本地优先的支持工单分类原型,使用 Gemini(默认 gemini-2.5-flash)对工单分类、分配优先级并起草基于 FAQ 的回复草稿,供人工审核导出。项目采用 Pydantic 校验、SQLite 审计记录、幂等跳重与限速重试(请求间隔至少 15 秒),支持 mock 与 live 两种模式,但不发送回复、不改动客户账户,也非生产就绪系统。
devanshranjan10 发布开源工具 landmines,它读取项目 lockfile 中固定的精确版本,检索针对该版本的开放 GitHub issue 并生成索引,通过 pre-edit hook 或写入 AGENTS.md/CLAUDE.md 的已知 bug 段落让编码 Agent 在编辑前避开这些坑。基准测试中,Claude Sonnet 5.5 无辅助通过 72/84(86%),加入 landmine rules 段落后通过 83/84(99%);同批对比中 web search 开启为 36/42、Context7 docs MCP 为 35/42,且 84 个会话中 Agent 从未主动调用这两个工具。
推荐理由:作者用 84 个 held-out 任务对比了规则段落、pre-edit hook 与 web search、Context7 的效果,基准局限也写得坦率,方法可参考。
METR 与 Redwood Research 各派一名员工,于 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监测系统开展了三周高权限试点压力测试,并产出 61 页内部报告。测试以红队方式针对该智能体监控系统进行,发现了多个漏洞。
METR 与 Redwood Research 各一名员工于 2026 年 7 月 21 日至 8 月 11 日对 OpenAI 内部失对齐监控系统开展高权限红队测试,并披露了系统存在的多项漏洞。测试产出一篇 61 页内部报告,具体漏洞内容目前仅以内部报告形式披露。
flightdeckhq 在 GitHub 发布 Flightdeck,一个自托管的 Agent 观测与控制平面,可实时展示每个 Agent 的 LLM 调用、MCP 事件和工具调用时间线。
推荐理由:原文给出了传感器接入方式、SDK 覆盖矩阵和已知限制,读者可以据此评估这套自托管 Agent 观测方案是否适配自己的技术栈。
Wvdstoep 在 GitHub 发布 ghost-browser,通过 MCP 让 Codex、Claude Code 等客户端连接真实 Chromium,并用 Set-of-Mark 编号标注替代 CSS 选择器来驱动点击、输入和读取。项目内置 HTTP API、会话隔离与 SSRF 防护,附带四层自主安全侦察与漏洞审计引擎,覆盖 DNS、TLS、XSS、BOLA/IDOR、SQLi 等检测并生成 curl PoC 与补丁。AI 导航循环、recipe 编译器和计费尚未构建,仓库地址为 https://github.com/Wvdstoep/ghost-browser。
trackmind-ai 在 GitHub 发布 spec-security-review,这是一个可将 AI 智能体变成安全审计员的 Claude skill。它覆盖 SAST、SCA 供应链、后端授权、前端 XSS 和 AI/LLM 安全五条审查线,输出含文件路径、行号、漏洞代码片段、source→sink 追踪与修复建议的结构化报告,并按 OWASP 类别和 Critical/High/Medium/Low 分级。默认只读分析,采用 GPL-3.0-or-later 许可,可作为插件或复制到 .claude/skills/ 目录使用。
Myrhex-x 发布开源 Chrome 扩展 Unsponsored(unsponsored-0.2.0.zip),优先用 SponsorBlock 共享列表跳过 YouTube 视频里的赞助口播、频道周边推销和求订阅提醒,没有标记的视频再用用户自选 AI 读字幕找广告,支持 OpenAI、Claude、Gemini、Grok、DeepSeek、OpenRouter 及 Ollama 本地模型,还能在 YouTube 出现 Skip 按钮时立即结束广告。实测 60 个 SponsorBlock 标注视频,本地 qwen2.5 7B 检出 75%、误跳率 10%、免费,Grok 4.3 检出 90%、误跳率 0%、每视频约 $0.0073。
推荐理由:开源浏览器扩展自带实测数据,对比本地小模型与商用 API 在跳过赞助片段上的检出率和成本,方法可复用。
Latet-AI 发布开源的 AI Agent 本地隐私防火墙,在请求离开本机前掩码密钥、密码和个人数据,并在回答中本地还原,云端模型只见假值。支持 Claude Code、Codex、Gemini CLI、Hermes Agent 等的插件与网关接入,可选本地名称模型(约 1.6 GB)、OCR 和本地语言模型审查,93 个测试用例中 Qwen3.5-4B 检出 84%、Ternary-Bonsai-2-27B 检出 97%。项目无云端服务与遥测,采用 source-available 许可,文档在 https://docs.latet.ai/ 。
推荐理由:README 讲清了本地防火墙的掩码与还原机制、各 Agent 接入方式和已知盲区,适合想在敏感数据上用云端模型的人评估可迁移做法。
GitHub 上的 contract_heldout_ipi 项目提供一套 LLM 智能体间接提示注入(IPI)防御评测协议,包含可机器读取的 episode contract、referee 校验和 train 与 held-out 的迁移差距报告,并强调这不是新威胁模型或最强防御声明。项目支持通过 OpenAI 兼容配置运行攻击、防御、judge 等多模型基线,也支持经 Cursor 调用 Grok 4.5 等模型,并内置 EmailSandbox 邮件场景与自适应攻防、协商共演化协议,ASR 由工具轨迹确定性评分。
ADWMC 在 GitHub 发布 jailbreak-skill,一套面向 LLM 红队评估的提示词工程方法论,主张先规划假设、再组装提示词、最后凭证据判定,而非直接给出可复制的提示词。仓库含 19 个提示词模块、14 份方法论文档、3 条厂商路线和 4 级测试集,所有声明按 E0 到 E3 分级,并明确平台拦截、毒品武器类请求和直接索要成人内容属于已知死路。项目采用 CC BY-NC-SA 4.0 许可,作者强调这不是 OSI 开源许可证。
推荐理由:它把越狱测试整理成可冻结的判定标准和证据分级方法,并明说了哪些域救不了,适合想系统做红队评估的读者。
Manta-Boardgame 发布开源工具 BaleenCode,类 Claude Code 的 Agent 应用,通过 Vercel AI Gateway 调用 deepseek/deepseek-v4.1-flash-1017(1M token 上下文),每次请求携带 providerOptions.gateway.only 允许列表,只使用 Together AI、Fireworks、Baseten、DeepInfra、Relace 五家美国零数据保留供应商,拒绝 Alibaba Cloud 和 DeepSeek 官方路由,回复若来自列表外公司会告警并 fail closed。
推荐理由:作者开源了一个类 Claude Code 的 Agent 工具,把 provider 允许列表、路径限制和审批级别的实现都写清楚了,可作工程参考。
一位 Reddit 用户称其运营 2 年的 Character.AI OC 机器人今年 2 月在版权下架潮中首次被删,恢复后再次因 DMCA 下架,怀疑是因角色名与一个 Harry Potter 角色重名。用户联系官方支持后被告知可提交 DMCA Counter Notice,但因担心法律流程而犹豫,希望恢复编辑权限将机器人设为私密,故发帖询问他人经验。
GitHub 上的 AI-Safety 仓库为有经验的 ML 工程师、安全工程师及有志于 AI 安全研究者提供开源研究课程与项目仓库,核心路径免费、无需付费 API 或订阅。目前为在建状态:24 章和 10 个项目中完成 0 个,规划与治理层已验证,内容按章节分阶段发布,提供对齐研究、AI 安全工程、评测与保障三条路线,代码采用 MIT 许可、文本采用 CC BY 4.0。
QWED 以 Apache-2.0 协议开源,是一个校验 LLM 与 AI Agent 输出中声明的验证层,使用 SymPy、Z3、SQLGlot、Python AST 等确定性引擎,无法验证的声明不会标记为已验证。它可作为 Python 库、CLI、自托管 API 或 Docker 镜像在本地运行,提供 TypeScript、Go、Rust SDK,包含 13 个引擎和 9 个策略守卫,返回 status 与 admission 两个独立判定,并定义了 Verification Context v1.0 结果记录格式。自然语言检查需调用所配置的 LLM 做形式化转换,该转换本身不被验证。
一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目,使用约 1MB 的 TinyShakespeare 文本(1,115,394 字符、65 个字符类别),字符级 tokenize,模型 3.24M 参数,上下文窗口 256 字符。经 next-token prediction 预训练,选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19,并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。
GitHub 上的开源项目 Intel60 每 30 分钟抓取 BleepingComputer 等 8 个安全资讯源和 CISA KEV 目录,用 Claude Haiku 4.5 为每条新闻生成 60 词卡片,标注严重级别并附 NVD CVSS 评分与 FIRST EPSS 利用概率。关键故事经 ntfy 推送,支持本地 watchlist 过滤、补丁期限倒计时和 7 天趋势,AI 每条只跑一次、读者数不影响成本,Anthropic API 成本约 $3–5/月。