SLDR:通过选择性层恢复与动态路由防御恶意微调
研究者提出后微调防御方法 SLDR,基于选择性层恢复与动态路由,仅在敏感度最高和最低的层上训练 LoRA 恢复适配器,并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上,SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08,投毒比例高达 0.9 时有害分数仍接近零,且保持下游准确率。代码已开源。
新闻、仓库与研究,按时间排列。
研究者提出后微调防御方法 SLDR,基于选择性层恢复与动态路由,仅在敏感度最高和最低的层上训练 LoRA 恢复适配器,并通过基于表示的动态路由只对恶意查询激活适配器。在 4 种模型架构、5 个下游任务和 4 个有害基准上,SLDR 在 Llama3.1/SST2 上将平均有害分数从 11.54 降至 0.08,投毒比例高达 0.9 时有害分数仍接近零,且保持下游准确率。代码已开源。
一项行为测试发现六个推理模型在基于标识符的随机选择中使用阈值和整除规则。GPT-6 Sol 和 Gemini 3.8 Flash 在共享标识符下表现出相关性,显式要求独立随机化可减少但不能消除这种相关性;在随机抽取客户请求供人工审查的任务中,GPT-6 Sol 接近目标抽取率但选择可预测,其余模型很少抽取,四个模型都严格遵循提供的随机数。
Digital Foundry Solutions 开源了 actualis,一个本地只读工具,扫描 Claude Code、Codex、GitHub Copilot CLI 的会话记录,输出成本、shell 审计、凭据暴露和缓存效率报告,无需联网。工具按 message id 去重计费消息,实测修正 2.13 倍的成本虚高;凭据事故按邻近度分级重建,把 7,553 条命令缩减到 42 条值得阅读。提供 --self-check 自验证隐私声明、CI 退出码门禁、MCP server 与托盘应用,AGPL-3.0 协议。
推荐理由:工具用去重后的消息计数和按邻近度分级的事故重建来压缩审计噪声,官方仓库详细写明了计算口径与验证方式。
rebornace 在 GitHub 开源了团队 AI 助手运行时 Baize,可将 OpenAPI / Swagger 等 API 文档转为可调用工具,重要写入操作支持控制台人工确认并留痕。其决策层在 390 个工具、3 个后端的 37 条真实请求上测试,默认宽度 16 时平均 turn-0 提示词约 3,090 tokens,比发送全量 390 工具的约 85k 大幅降低,5 轮重复测试运行成功率 99.5%;工具路由默认关闭,可通过运行时设置热加载开启,MIT 许可证。
推荐理由:原文给出可复现的工具路由基准数据,读者可据此评估这套助手运行时在多工具场景下的成本收益。
Insomniac-VibeLabs 在 GitHub 发布 two-key-concept 0.2.1 原型,要求两个独立密钥(Path A 策略 VM 加 Path B 评委仲裁,支持 xAI、OpenAI、Anthropic、Gemini、Ollama)都通过后 Agent 才能执行工具。采用 Apache License 2.0,含加密账本、单次使用能力令牌和评委与受监控 Agent 的身份检查,但不含载荷扫描、杀毒或 DLP 钩子,无独立审计和生产部署,1.0 目标见 ROADMAP.md。
GitHub 项目 LLMInjection 发布,定位为面向 AI、LLM 和智能体系统的开放威胁情报库,收录 8 个威胁行为者、10 个攻击活动、28 项技术、40 个安全测试用例、45 条检测规范和 32 个防御控制,每条记录附来源分级与验证日期。技术映射到 MITRE ATLAS、OWASP、NIST、Google SAIF 和 CSA MAESTRO,2026-10-07 更新新增 7 项基于 ATLAS 2026.09 的技术,ATLAS 覆盖从 52% 升至 78%,并附 DUSTMAKER 窃密链与 Semantic Kernel CVE-2026-26030 提示词注入转代码执行两条攻击链的防守方手册。
推荐理由:这个 AI 威胁情报仓库把每条技术都标注证据等级并联动测试、检测与控制,2026-10-07 更新将 ATLAS 覆盖从 52% 提到 78%。
aicage 项目开源,用 Docker 容器为 Claude Code、Codex CLI、Gemini CLI 等 14 个 AI 编码智能体提供硬边界隔离运行环境。安装用 pipx install aicage,支持 IDE 接入、挂载已有 CLI 配置和凭据、Bind Mounts、Docker Args 透传和 Extensions 自定义工具,容器只能访问用户显式挂载的文件。
WaiperOK 在 GitHub 发布 burp-agent-mcp,一个位于 LLM agent 与 Burp Suite 之间的 MCP 网关,用于授权安全测试。网关在代码层而非提示词层强制范围、环境、模式和限速,配 31 个分三组的工具、哈希链审计日志与密钥脱敏,扫描结果仅作候选供人工复核,附 AgentFindings Burp 扩展和 154 个测试。
推荐理由:原文完整给出了网关在代码层强制范围、环境、限速与审计日志的实现方式,读者可以直接复用这套让模型安全驱动 Burp 测试的架构。
GitHub 用户开源 scoped-inbox-agent,一个用本地 LLM 分拣个人邮件噪音的 Agent,基于 Ollama 运行 qwen3:8b,分类全程不出本地机器。项目围绕最小权限 OAuth2 设计,Gmail 仅用 gmail.modify 范围并通过固定 allow-list 封装限制为只能将邮件移到两个预批准标签,模型只输出分类和置信度,且从不打开或点击邮件中的任何链接或附件。OAuth2 流程和 Gmail API 调用留待使用者实现,分类器、Ollama 客户端与 JSONL 审计日志已可用。
CharmingSteve 在 GitHub 开源 LLM Provost,一个部署在 MCP 服务器和上游模型 API 之前的治理代理与审计账本,支持策略热加载、四层身份审计和本地/主权化部署。它提供工具调用放行与拦截、限速、token 上限、时间访问控制和 PII 过滤,导入 Agent Provost 的 Alpaca 交易控制规则,兼容 OpenWire、Ollama、vLLM 和 Amazon Bedrock 等后端,采用 AGPL-3.0 许可并提供 Docker Compose 与 AWS Marketplace AMI 部署方式。
推荐理由:原文详细给出了双代理边界、四层身份审计和可编程策略模型,读者可以据此评估在自己的环境里落地 LLM 治理代理。
Kirusshenkin 在 GitHub 发布 macOS 终端应用 Phosphor(v0.1.0,MIT 协议),每台主机只用一条 SSH 连接复用 shell、Docker 日志、/proc 指标、SFTP 和端口转发,凭据存于 Keychain 或 Secure Enclave 并用指纹解锁。它同时是一个 MCP 服务器,Claude Code、Claude Desktop、Cursor 等 MCP 客户端可经它列主机、读指标、管容器,但密钥不交给模型:主机默认禁用、写操作需逐次确认且授权 15 分钟过期、deny-list 拦截危险命令、审计日志无写入工具。当前状态为 179 个测试通过,尚未完成原生 Citadel 传输、角落宠物和 Sparkle 应用内更新。
jdsouza1 在 GitHub 发布 Omni-IR v0.9,这是一个行式流协议,让模型用扁平的文本行描述界面,由可信客户端流式解析并用自家组件渲染,模型不写 HTML、CSS 或代码。协议提供 React、SwiftUI 和 Jetpack Compose 三套渲染器,通过同一套 98 例一致性测试;在 Claude.ai 九个测试屏上,Omni-IR 比 A2UI 省 39% token、比 -render 省 55%,首屏内容约 30–40 token 后即可绘制;所有改变后端的按钮必须由 McmMutation 命名应用注册的允许工具才可点击,服务器端会再次校验。
推荐理由:原文给出了 Omni-IR 与 A2UI、OpenUI 等格式的 token 用量、首屏延迟和安全机制对比,读者可以评估这种流式生成式 UI 协议是否适合接入自己的应用。
Sereno 是一个 GitHub 仓库,研究 prompt injection 与持久记忆中毒如何影响长时程任务的编码 Agent,并构建 harness 层让 Agent 在攻击下仍能可靠完成任务。实验基于 DeepSWE 任务运行,每个 session 对应一个完整任务,通过 /memories 目录跨任务携带记忆;sereno context-eval 在仓库文件、命令输出和记忆文件中植入内容,对比 clean、carry、reset 和 ablation 各组,并可通过用户的 AGENT.md 修复被污染记忆,用任务自带 verifier 评分,报告暴露、攻击成功、任务成功与恢复等指标及区间估计。
推荐理由:原文给出了在 DeepSWE 任务上实测 prompt injection 与记忆中毒的实验设计,含对照组、恢复机制和成本记录方法。
Attention Router 是一个面向受控、策略感知自主交互的智能体运行时,核心对话智能体为 Andy,目前处于公开预发布状态。项目提供结构化入站处理、策略与人工审批、持久化 Owner Control、语音输入输出、Python 与 TypeScript SDK 等能力,PostgreSQL 集成认证是明确的发布门槛。其自建异构 CI 将 403 个测试的执行时间从单 worker 的 286 秒降至 99 秒。
j0hanz 发布 filesystem-mcp,一个让 AI 助手在明确允许的目录内读写文件的 MCP 服务器,通过 npx、Docker 或 Claude Desktop 扩展安装。默认拒绝 .env、*.pem、*id_rsa 等敏感文件,搜索用 RE2 正则保证线性时间避免 ReDoS,支持 --read-only 只读模式、文件变更订阅推送、批量操作,并支持 stdio 和 --port 启用的 Streamable HTTP 双传输。相比官方参考实现 @modelcontextprotocol/server-filesystem,它额外提供文件内容搜索、diff、glob 批量替换、unified diff patch 等能力。项目以 MIT 协议开源,无遥测和出站网络请求。
Spark 是一个本地优先的 AI 编码 Agent,pip 一键安装,所有写盘和 shell 命令都经过审批门控(suggest/auto-edit/full-auto 三种模式),受保护路径和工作目录外写入不受任何模式覆盖。v0.9.0 支持多文件编辑(apply_patch)、持久 PTY 终端、子 Agent、会话分叉、MCP、基于 mem0 + ChromaDB 的可选语义记忆,并内置 DeepSeek / Qwen / ZhipuGLM / Kimi / Doubao / Ollama 等中文模型预设,对工具和文件结果按不可信数据标记中英文提示词注入模式。
推荐理由:原文详细列出了审批门控的三种模式、受保护路径规则和v0.9.0的功能清单,读者可以直接评估这个本地优先编码Agent是否值得部署。
GitHub 上的 learn-from-claudecode 项目发布,提供分步引导学习 Claude Code 源码的应用,面向 Windows 用户,可从 release 页面下载 .exe 或 .zip 文件直接运行。课程内容涵盖阅读代码流程、追踪输入输出、理解功能连接和 LLM 工具设计,无需预先掌握编程术语,下载后可离线使用大部分本地课程内容。
joshmaster2165 在 GitHub 开源 Control Tower v0.2 预览版,这是一个自托管 AI 网关,将智能体对模型、MCP 工具和 HTTP API 的每次调用显示为交互式地图上的实时流量,并支持在区域边界绘制 allow/deny/require approval 门禁,拒绝时向智能体返回 403。已支持 OpenAI、Anthropic、Gemini、Bedrock 等 OpenAI 兼容端点、人工审批流转为工单、智能体间 A2A 委托令牌、inspect 门禁扫描密钥与提示词注入、按 key/团队/模型的费用记账与 Prometheus 指标;项目明确说明仅强制执行经过网关的流量,旁路流量只以虚线观察显示,出口代理仍在路线图中。
推荐理由:作者开源了一个带实时地图和门禁审批的自托管 AI 网关,还明确写出了哪些流量不受强制执行,边界诚实。
AnupDagala 在 GitHub 开源 OpsPilot,一个为 CentrAlign AI 工程评估构建的运营智能体原型,围绕经销商到 ERP 的订单录入实现澄清、目录/信用检查、独立审批、编辑后审批失效、防重复和持久化对账。项目包含六个运营工具、三个回读工具、独立校验器和 SQLite 持久化,支持 Python 与可选 LangChain 适配器及 n8n 导出。实机自主性尚未验证,无 API key 时默认使用明确标注的 Scripted demo 模式,配置 OPENAI_MODEL 默认为 gpt-4.1-mini。
yuttii 在 GitHub 发布 agent-execution-guard,一个拦截 LLM Agent 中间步骤的中间件,提供工具调用策略检查、不安全计划检测和指标统计。它以 Final ASR、Intermediate Compromise Rate 等指标区分最终回答与 Agent 实际执行的行为,支持 block、warn、log_only 三种模式和 @guard.guarded() 装饰器,兼容 LangChain、LangGraph、LiteLLM。作者说明演示基于脚本化场景和 mock 工具,基于模式的计划检查可被改写绕过,路径检查存在 TOCTOU 缺口,建议用 AgentDojo 或 AgentHarm 做真实评测。
推荐理由:原文给出了拦截 LLM 智能体中间步骤的工具设计与局限说明,读者可以了解只看最终回答会漏掉哪些不安全行为。
Ryan Vo 发布 human-approval-console-ryan-vo 1.0.0,一个面向自主 AI 智能体的人工在环治理控制台,可接收智能体动作提案、做多因素风险评分、执行策略护栏、RBAC 审批,并生成 HMAC-SHA256 签名且链式关联的审计回执。内置基于 24 个标注样本的风险评测基准,报告分类准确率 95.83%、destructive 精确率 100%、召回率 93.33%,同时列出了开发沙箱边界弱化和混淆命令两类已知局限。支持 Keycloak OIDC SSO、Docker Compose 部署及离线确定性咨询引擎,MIT 协议开源。
strands-agents 发布开源项目 Strands Box,一个 AI Agent 沙箱,将操作系统隔离与用 Dogwood 编写的语义策略结合,控制 Agent 可访问的资源和行动条件。策略引擎在 Agent 进程外运行,默认拒绝未明确允许的操作;Shell、Monty for Python、出口网关和 MCP broker 共享事件历史,先前的文件读取可导致后续出站 HTTP 请求被拒。支持凭据注入且 Agent 拿不到底层密钥,决策记录写入 OTLP JSON。预览版目前仅支持 Apple silicon 的 macOS,需 macOS 15+ 与 Node.js 22.21+,采用 Apache License 2.0。
takurot 在 GitHub 发布 Dragon Head,一个面向 AI 浏览器 Agent 的策略强制、可审计执行运行时,以 stdio MCP 服务器形式提供,包含 Policy Engine 拦截高风险动作、内置 ask_human 人工审批、PII 脱敏审计日志和 prompt-injection 检测。其 stable_key(SHA-256)选择器在 UI 重构后仍稳定,第二次 get_state 起通过 RFC 6902 delta 仅传变更节点(通常 20–50 token);基准测试显示首次调用负载比 Playwright 自定义提取大 3–4 倍,10 步工作流中累计 token 成本更低。
GitHub 开源项目 LLM-Ticket-Triage 展示如何用 pytest 可靠地测试一个基于 LLM 的客服工单分类应用,默认使用 gpt-4o-mini 模型。项目将测试分为两层:用 FakeLLMClient 的确定性测试可在 CI 运行;真实模型评估基于 12 条标注工单的 golden 数据集,要求分类准确率 ≥ 80%、高优先级召回 ≥ 80%,并覆盖重试、降级与提示词注入防护。
rupeshpoojary9 发布开源工具 OpenHarnX 0.1.1,用于验证 AI 编程智能体的改动,它锁定约定测试、在 srt 沙箱中运行锁定副本并比较基线,不调用任何模型。它可捕获改测试、加跳过标记、放松配置、破坏既有测试和篡改环境等行为;Claude Code 有内置 Stop hook 集成,OpenCode 有实验性插件,也可作为 GitHub Action 等 CI 门禁使用。在 102 个不可能任务公开数据集回放中,零配置捕获 43/52 个假修复,包括全部 26 个改测试的假修复;对 github/spec-kit 20 个已合并 Copilot PR 的事后回放中 9 个通过。
推荐理由:原文给出了锁定测试、沙箱运行和公开回放数据的完整做法,读者可以据此了解如何验证 AI 编程智能体是否真的让测试通过。
GitHub 用户 Aanny27 开源了 LLM-for-SOC 项目,将大语言模型应用于安全运营中心(SOC)场景。仓库采用 MIT 许可证,包含事件关联(incident_correlator.py)、自然语言查询(nl2query.py)、漏洞处理(vulns.py)与判定升级(soc_verdict_escalation.py)等模块,并配有回放评测脚本与共享 RAG 组件。
Hyper-AI-Lab 在 GitHub 发布 Python 库 containment(PyPI 包名 containment),为 LLM Agent 提供生产级提示词注入防御,包含安全标签、默认拒绝策略代理、隔离提取和检测器。作者明确声明该库不使模型对注入免疫,而是约束权限:不可信数据无法自行获得特权,特权工具调用须经默认拒绝引用监控,不可逆操作需独立授权;文档含威胁模型、企业主机加固与 OpenAI 风格及 Claude Code PreToolUse 等运行时适配,推荐 Python 3.12+,采用 Apache-2.0 许可证。
推荐理由:这个库明确说明不能让模型免疫注入,而是通过默认拒绝的权限代理约束不可信数据,边界声明本身就有参考价值。
GitHub 上的 PromptShield 是一个 AI 安全平台,用于分析提示词、检测提示词注入等威胁,并在请求到达 LLM 之前执行安全策略、保护 AI 应用。
开源项目 self-healing-llm-gateway 发布,这是一个基于 Python 3.12、FastAPI、Redis、PostgreSQL、Docker 和 React 构建的本地优先、OpenAI 兼容 LLM 网关,位于客户端与下游推理服务商之间。系统提供多租户 BYOK 凭据管理、Redis 三态熔断器、有界重试/故障转移预算、滑动窗口限流与 SSRF 防御。凭据采用 AES-256-GCM 信封加密,API 密钥仅存 SHA-256 哈希,并通过 Prometheus 与 OpenTelemetry 输出全栈遥测。
FootprintAI 在 GitHub 开源了自托管 Agent 运行时 Containarium(Apache 2.0),为每个 AI Agent 提供持久、可通过 SSH 访问的 LXC 或 Kubernetes 容器,配套 agent-box 和平台级两个 MCP 服务器。容器无 kube-apiserver token、无宿主机访问权限,支持每租户 eBPF 出口 allowlist、GPU passthrough、ZFS 持久存储与 JWT 审计日志。项目已部署于 GCP 多区域和裸金属 GPU 节点,与 Cursor、Claude Code、OpenCode 等 MCP 客户端兼容,快速上手需 Ubuntu 24.04 VM 和 Containarium v0.96.0 以上。
推荐理由:原文详细说明了这套自托管 Agent 运行时的隔离与安全设计,读者可以对照 SaaS 沙箱方案评估自建的成本与边界。
作者发布 SpecAgent v0.10,一个面向 AI Agent 的行为驱动测试与回归检测平台,把 Agent 行为规则写成 YAML,自动生成含攻击 probe 的用例并检查 tool trace。PASS/FAIL 仅由确定性代码判定,LLM 只做提议且不改判定;发现 NEW_REGRESSION 时可在 GitHub CI 中阻断 PR,内置 FinCare 等演示示例与仪表盘。作者也坦承这是个人作品集项目,PostgreSQL 路径与跨运行缓存等尚未充分验证。
推荐理由:作者讲清了用确定性判定替代 LLM 打分的 Agent 行为回归门禁方法,并附部署与 CI 接入细节,可迁移到自家项目。
GitHub 上的 a9320/arcanum-spark 发布了一套针对 AI 时代漏洞的代码安全审计系统,基于 Arcanum Prompt Injection Taxonomy,可检测提示词注入、隐形字符走私、Trojan Source 等传统 SAST/DAST 工具不覆盖的攻击面。它包含一个纯标准库、零 GPU 的确定性 Agent Skill,以及 6-agent 审计流水线,可在 AMD MI300X 上自托管四个 llama-server(Muse-Glimmer-30B、Qwen3.8-27B、R1-Distill-32B、Gemma4-26B-A4B),也可路由到云 API council,并输出 JSON / SARIF 2.1.0 / Markdown 报告。
awesome-mcp-security 是一款 Windows 桌面工具,可用九项安全检测评估 800 多个 MCP 服务器的安全性,覆盖 prompt injection、不安全对话流、数据隐私等风险,并给出每日更新的安全评分。用户输入服务器名称即可查看结果,无需技术背景,安装需 Windows 10 及以上、4 GB 内存和 4 GB 磁盘空间。
kuangren777 在 GitHub 发布 RiskCert 论文的代码、冻结实验数据与分析脚本,方法为 LLM 智能体安全审计提供 anytime-valid 风险证书,涵盖 betting 置信序列、配对比较与不和谐对符号过程等决策规则。仓库基于 AgentDojo 和 InjecAgent 测试床,论文中的每个数字、表格和图形均可由 make_numbers.py 和 make_figs.py 从冻结的逐回合记录逐字节再生,实验计划在运行前已冻结于 PREREGISTRATION.md;新实验可通过 OpenAI 兼容端点或 vLLM 本地模型运行,代码采用 MIT 许可证。
作者在 GitHub 发布一个生产风格的 LLM 护栏微服务,用 23 个规则族检测提示词注入、越狱尝试和敏感数据(API 密钥、邮箱、电话),提供 /v1/check/prompt 与 /v1/check/response 两个端点并返回 allow/block JSON 决策。服务以非 root Docker 镜像部署到 kind Kubernetes 集群,用 Secret 做 API key 认证,Kyverno Enforce 策略拒绝特权容器和无资源限额容器。在 112 条留出测试文本上精确率 100%、召回率 87.5%、误报 0,引擎单线程 p95 延迟 0.063 ms,作者同时说明了对 leetspeak、非英语注入、改写探针等 9 类漏检及评测集规模小的局限。
推荐理由:原文给出了规则设计和留出集上的精确率召回率数据,还列出已知漏检类型,适合想自建 LLM 护栏服务的读者参考。
renefichtmueller 发布 Adaptive LLM Gateway v0.3(实验版,Apache 2.0),自动发现本机已安装的订阅 CLI,把 Claude Max、ChatGPT Plus、Copilot 等包月套餐封装为 OpenAI/Anthropic 兼容的本地 HTTP API。内置提示词注入防御(OWASP LLM-01,20+ 模式,中英双语,扫描低于 5ms)、PII 脱敏与还原、输出流防御、基于审计日志的成本感知自适应路由、推理轨迹拆分存储、时间回溯重放、MCP 服务器模式、统一订阅钱包与 /v1/responses 经 OAuth 桥接的订阅直通。
推荐理由:作者把订阅制 CLI 封装成本地 API 网关,还带上注入防御和 PII 脱敏,适合订阅用户对比现有按 token 计费网关的差异。
Sunil Mehta 在 GitHub 开源 ai-devsecops-cicd 项目,提供一条针对 LLM 和 AI Agent 服务的参考 CI/CD 流水线,覆盖密钥扫描、测试、签名、准入控制到部署。流水线包含 Gitleaks、Semgrep、Trivy 扫描、SBOM + AI-BOM 生成、keyless cosign 签名及 Kyverno 准入策略,附带 14 个用例的 AI 安全测试语料。全部四个 workflow 已在 GitHub Actions 通过验证;仅 Kyverno 的准入时强制执行尚未在真实集群测试。
arman-jalili 在 GitHub 开源 Rigorix(MIT/Apache-2.0),一个位于 LLM 之下的智能体执行治理层:自然语言任务先编译成可审查的 DAG 计划,再在策略、权限和预算边界内执行,每步记录为 HMAC 签名的带时间戳审计信封。越权步骤会被标记 requires_approval = true 并强制暂停而非告警;rigorix-mcp 网关以标准 MCP server 接入 Claude Code、Cursor、Aider,暴露 14 个内置工具,支持 Rust、TypeScript 和 Python 代码库,其中 TypeScript 集成最成熟。仓库含 113 步本地 CI 验证脚本,代码覆盖率门槛 ≥60%。
GitHub 上的 KAgent 是一个由 LLM 驱动的 Web 渗透测试研究项目,仍在积极开发中,未达生产可用,仅面向本地或私有实验室的授权测试环境。项目基于 Python 3.11+,提供 CLI 和 Textual TUI,内置 recon、sql-injection、ssrf、ssti 等技能类别,运行时保留权限提示与目标范围检查,支持 `pip install .` 安装。
GitHub 开源项目 ActionGuard 是一个面向 AI 智能体的本地安全层,实时监控每个操作并要求用户批准风险行为。它提供策略引擎、审批弹窗和活动日志,无需云依赖,用 Rust 编写,支持 Windows 10/11(最低 4 GB 内存、100 MB 磁盘空间),可接入常见 LLM 自动化框架。