内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
371 条精选近 30 天 364 条共收录 1,329 条
joshmaster2165 在 GitHub 开源 Control Tower v0.2 预览版，这是一个自托管 AI 网关，将智能体对模型、MCP 工具和 HTTP API 的每次调用显示为交互式地图上的实时流量，并支持在区域边界绘制 allow/deny/require approval 门禁，拒绝时向智能体返回 403。已支持 OpenAI、Anthropic、Gemini、Bedrock 等 OpenAI 兼容端点、人工审批流转为工单、智能体间 A2A 委托令牌、inspect 门禁扫描密钥与提示词注入、按 key/团队/模型的费用记账与 Prometheus 指标；项目明确说明仅强制执行经过网关的流量，旁路流量只以虚线观察显示，出口代理仍在路线图中。
推荐理由：作者开源了一个带实时地图和门禁审批的自托管 AI 网关，还明确写出了哪些流量不受强制执行，边界诚实。
NVIDIA-NeMo 发布 Anonymizer 开源工具，用 GLiNER-PII 与 LLM 增强验证检测文本敏感实体，支持 LLM 生成替换、redact、annotate、hash 四种替换策略，并提供 preview 可视化。默认需本地 GLiNER2 端点和 OpenRouter API key，支持自定义模型配置与 Agent Skill，采用 Apache License 2.0，遥测可退出。
推荐理由：工具给出完整的替换策略、预览机制和遥测退出方式，处理敏感文本前可以先小样本验证再全量跑。
yuttii 在 GitHub 发布 agent-execution-guard，一个拦截 LLM Agent 中间步骤的中间件，提供工具调用策略检查、不安全计划检测和指标统计。它以 Final ASR、Intermediate Compromise Rate 等指标区分最终回答与 Agent 实际执行的行为，支持 block、warn、log_only 三种模式和 @guard.guarded() 装饰器，兼容 LangChain、LangGraph、LiteLLM。作者说明演示基于脚本化场景和 mock 工具，基于模式的计划检查可被改写绕过，路径检查存在 TOCTOU 缺口，建议用 AgentDojo 或 AgentHarm 做真实评测。
推荐理由：原文给出了拦截 LLM 智能体中间步骤的工具设计与局限说明，读者可以了解只看最终回答会漏掉哪些不安全行为。
TushaeBXN 在 GitHub 开源 Forge，一个 TypeScript 软件工程 Agent，将 LLM 仅作为规划组件而非运行时。核心包括事件溯源系统模型、默认拒绝的权限 broker、60 秒 TTL 能力令牌执行器，以及每次变更强制运行的 tsc --noEmit → test → lint 验证链。支持通过 FORGE_PROVIDER 接入 Anthropic、OpenAI、Ollama 等任意模型，并与 Claude Code、OpenAI Codex 的权限与审计机制做了对比。
推荐理由：把 LLM 定位为不可信规划器、在执行层强制安全的思路，为 Agent 工程的权限与审计设计提供了一个可参考的实现样例。
anishalx 在 GitHub 发布 dynamictester，一个 AI 驱动的 DAST 工具，解析 Semgrep、Trivy、CodeQL、Gitleaks 等 7 种静态分析器结果，用 LLM 智能体加 Playwright 浏览器自动化动态验证漏洞。支持 OpenAI、DeepSeek、Qwen、GitHub Copilot、Google Gemini、OpenRouter、NVIDIA NIM 共 7 个提供商，含 25 个智能体工具、16 个漏洞类别、L0-L4 证据分级、WAF 绕过引擎，输出 SARIF 2.1.0、HTML 和 JSON 报告，并提供带退出码的 CI/CD 模式。
推荐理由：原文给出了完整的工具架构、分类体系和 CI 集成方式，读者可以了解用 LLM 智能体自动验证静态分析漏洞的具体做法。
rupeshpoojary9 发布开源工具 OpenHarnX 0.1.1，用于验证 AI 编程智能体的改动，它锁定约定测试、在 srt 沙箱中运行锁定副本并比较基线，不调用任何模型。它可捕获改测试、加跳过标记、放松配置、破坏既有测试和篡改环境等行为；Claude Code 有内置 Stop hook 集成，OpenCode 有实验性插件，也可作为 GitHub Action 等 CI 门禁使用。在 102 个不可能任务公开数据集回放中，零配置捕获 43/52 个假修复，包括全部 26 个改测试的假修复；对 github/spec-kit 20 个已合并 Copilot PR 的事后回放中 9 个通过。
推荐理由：原文给出了锁定测试、沙箱运行和公开回放数据的完整做法，读者可以据此了解如何验证 AI 编程智能体是否真的让测试通过。
Hyper-AI-Lab 在 GitHub 发布 Python 库 containment（PyPI 包名 containment），为 LLM Agent 提供生产级提示词注入防御，包含安全标签、默认拒绝策略代理、隔离提取和检测器。作者明确声明该库不使模型对注入免疫，而是约束权限：不可信数据无法自行获得特权，特权工具调用须经默认拒绝引用监控，不可逆操作需独立授权；文档含威胁模型、企业主机加固与 OpenAI 风格及 Claude Code PreToolUse 等运行时适配，推荐 Python 3.12+，采用 Apache-2.0 许可证。
推荐理由：这个库明确说明不能让模型免疫注入，而是通过默认拒绝的权限代理约束不可信数据，边界声明本身就有参考价值。
FootprintAI 在 GitHub 开源了自托管 Agent 运行时 Containarium（Apache 2.0），为每个 AI Agent 提供持久、可通过 SSH 访问的 LXC 或 Kubernetes 容器，配套 agent-box 和平台级两个 MCP 服务器。容器无 kube-apiserver token、无宿主机访问权限，支持每租户 eBPF 出口 allowlist、GPU passthrough、ZFS 持久存储与 JWT 审计日志。项目已部署于 GCP 多区域和裸金属 GPU 节点，与 Cursor、Claude Code、OpenCode 等 MCP 客户端兼容，快速上手需 Ubuntu 24.04 VM 和 Containarium v0.96.0 以上。
推荐理由：原文详细说明了这套自托管 Agent 运行时的隔离与安全设计，读者可以对照 SaaS 沙箱方案评估自建的成本与边界。
作者发布 SpecAgent v0.10，一个面向 AI Agent 的行为驱动测试与回归检测平台，把 Agent 行为规则写成 YAML，自动生成含攻击 probe 的用例并检查 tool trace。PASS/FAIL 仅由确定性代码判定，LLM 只做提议且不改判定；发现 NEW_REGRESSION 时可在 GitHub CI 中阻断 PR，内置 FinCare 等演示示例与仪表盘。作者也坦承这是个人作品集项目，PostgreSQL 路径与跨运行缓存等尚未充分验证。
推荐理由：作者讲清了用确定性判定替代 LLM 打分的 Agent 行为回归门禁方法，并附部署与 CI 接入细节，可迁移到自家项目。
GitHub 用户 superpengam 开源 psnb-obs，一套把越狱做成可开关、可量化、可复现的十六层工程套件，含措辞转换、出站清洗、多轮状态机、LRM 自主攻击、多模态与隐写注入、LLM 裁判和投毒检测等模块。仓库给出跨模型实测结论，如措辞转换使同一能力 ASR 从 50% 升至 100%、reasoning 挡位 off 时拒绝率 80% 对 high 40%、语境包装在 GLM 上反效，静态映射表实测 78.6% 而变异搜索文献达 92.5~99%；附 CLI、Pi 插件、多平台部署器与 322 项测试，声明权重层对齐硬底线无法用提示词攻穿，使用边界见 DISCLAIMER.md。
推荐理由：仓库给出跨模型实测 ASR 与自动搜索对比静态表的数字，读者可据此了解越狱手法的分层工程与模型间差异。
Antoine ROBERT 在 GitHub 开源 tech_radar_agent v0.3.1，一个不用 LangChain/CrewAI 等框架、纯 Python 实现的 AI Agent，每天从 Hacker News、GitHub、技术博客和 arXiv 等 17 个来源收集文章，按个人兴趣画像用 LLM 评分和摘要，生成约 5 分钟的 Telegram 早报。支持 Ollama 本地模型或 OpenAI 兼容 API，已通过 GitHub Actions 每天自动运行；附 30 份 ADR 实测设计选择，如关闭模型思考从每次 18 秒降到 0.3 秒，以及文章文本按数据而非指令处理、LLM 无工具调用等防 prompt injection 措施。
推荐理由：作者不放框架从零实现 agent 循环，并把关闭思考、截断长文等设计选择用实测数据写进决策日志，方法可直接借鉴。
vpa2007vpa-web 在 GitHub 发布 AST-Navigator-MCP，一个基于 Tree-sitter 0.25 的 MCP 服务器，让 LLM 智能体通过文件大纲、符号定义和依赖图导航 JavaScript 与 TypeScript 代码库，而非整文件阅读，以节省 token 并避免文本误匹配。
推荐理由：作者给出了沙箱探测矩阵和硬ening前后的内存与错误回复对比数据，读者可以据此评估这个 MCP 服务器的安全设计。
VDB 在 GitHub 发布 slopsquatting 数据集，收录大模型在普通编码任务中推荐、但注册表中不存在的 1927 个包名，其中 PyPI 961、npm 718、crates.io 169、Go 79。采集方式为每六小时向持有 API key 的模型发送固定编码任务并实时查证，无对抗性提示；数据以 CC BY 4.0 发布，作者提醒攻击者可能抢注这些包名，安装前应实时核查 https://vdb.ai.kr/ai/slopsquatting 。
推荐理由：数据集附有采集方法、字段定义和统计口径，读者可以直接用它做安装前检查或复现同样的扫描流程。
EmbarkAI 在 GitHub 发布 embark-ai-dock 早期预览版，一个开箱即用的 Docker 沙盒，让 AI 智能体通过 MCP 工具（get_balance、transfer、write_contract 等）操作链上钱包。钱包无完整私钥，采用 DKLS23 MPC 阈值签名拆成两份：客户端份额存加密 Docker volume，服务器份额由 EmbarkAI TSS 服务持有；签署前会按控制台策略校验收款地址、每日限额和链，超出即拒绝签名。交易经 ERC-4337 UserOperation 提交，部分网络由 paymaster 代付 gas。
推荐理由：原文详细给出 MPC 两方签名与策略限制的工作机制和部署命令，读者可以直接复用这套让智能体安全持有链上钱包的环境。
Emetgate 是一个运行在 Windows 上、面向 TypeScript 和 JavaScript 项目的 MCP 服务器，作为 Claude Code 与源码树之间的闸门，模型提出的改动需在沙箱副本中通过规则、类型检查和测试后才会写入磁盘，每次提交生成可离线复核的回执。作者用 claude-sonnet-5-5 在四个仓库的 15 个问题上对比 Emetgate、Serena、codebase-memory-mcp 和 Claude Code 自带工具，Emetgate 得分 240/252、86.7k tokens、$0.132，token 和成本最低但并非最准确，作者说明 2 分差距在运行波动内、不能据此排名；安全验证含 64 个变异体（57 killed）、TLA+ 模型检查与红队测试。
推荐理由：作者用同一模型和统一题库实测四套代码工具的得分、token 与成本，还给出变异测试和 TLA+ 验证细节，方法可直接复用。
作者在 GitHub 发布一个生产风格的 LLM 护栏微服务，用 23 个规则族检测提示词注入、越狱尝试和敏感数据（API 密钥、邮箱、电话），提供 /v1/check/prompt 与 /v1/check/response 两个端点并返回 allow/block JSON 决策。服务以非 root Docker 镜像部署到 kind Kubernetes 集群，用 Secret 做 API key 认证，Kyverno Enforce 策略拒绝特权容器和无资源限额容器。在 112 条留出测试文本上精确率 100%、召回率 87.5%、误报 0，引擎单线程 p95 延迟 0.063 ms，作者同时说明了对 leetspeak、非英语注入、改写探针等 9 类漏检及评测集规模小的局限。
推荐理由：原文给出了规则设计和留出集上的精确率召回率数据，还列出已知漏检类型，适合想自建 LLM 护栏服务的读者参考。
GitHub 项目 crabhi/django-deluxe 发布，提供在 Monty 沙箱中运行 LLM 生成代码的 Django 工具。用 @sandboxed 装饰器定义人工审查的边界类，docstring 即任务、__call__ 即入口签名，生成代码提交到 generated/ 目录并在每次运行时对照 stubs 做类型检查；支持 pydantic 模型与 dataclass 以 JSON dict 进出沙箱，默认资源限制为 512 MiB、60 秒执行、1000 次宿主调用，并提供 run_generated 等在 Monty 中运行测试的辅助函数。
推荐理由：原文完整给出了用 @sandboxed 装饰器划定人审边界并在 Monty 沙箱运行 LLM 生成代码的做法，可迁移到自己的 Django 项目。
talhayme 在 GitHub 开源了 evalkit（llm-eval-harness），一个 LLM 功能评估与发布门槛工具，把提示词变更的效果变成 CI 可阻断的检查项。默认离线运行，无需 API key，全量套件 1 秒内跑完；支持绝对阈值（通过率、准确率、幻觉率、p95 延迟、成本）与基线回归对比，检查失败时以非零退出码阻止合并。groundedness 刻意不用 LLM-as-judge，采用可单测的确定性指标；用例以 JSON 数据形式编写，支持 expect_refusal 标记拒绝类场景；提供 FallbackProvider 处理提供商超时与限流，配套 CI workflow 还包含一个反向检查，确保已知坏的运行必须失败。
推荐理由：原文给出了评估门槛的完整做法，从确定性指标、阈值到基线回归都可直接复用到自己的 LLM 发布流程。
renefichtmueller 发布 Adaptive LLM Gateway v0.3（实验版，Apache 2.0），自动发现本机已安装的订阅 CLI，把 Claude Max、ChatGPT Plus、Copilot 等包月套餐封装为 OpenAI/Anthropic 兼容的本地 HTTP API。内置提示词注入防御（OWASP LLM-01，20+ 模式，中英双语，扫描低于 5ms）、PII 脱敏与还原、输出流防御、基于审计日志的成本感知自适应路由、推理轨迹拆分存储、时间回溯重放、MCP 服务器模式、统一订阅钱包与 /v1/responses 经 OAuth 桥接的订阅直通。
推荐理由：作者把订阅制 CLI 封装成本地 API 网关，还带上注入防御和 PII 脱敏，适合订阅用户对比现有按 token 计费网关的差异。
AnswerDotAI 在 GitHub 开源了 fastaudit，一个轻量执行防护工具，用于在普通 Python 进程中运行 LLM 生成的代码时防止意外损坏，例如删错项目文件、写入用户主目录或未经允许的 subprocess 调用。它通过 mk_audit() 安装进程级 Python audit hook，权限检查仅在 audit_perms() 上下文激活时运行，写操作须落在允许目录内，subprocess 和线程创建默认被拒绝，主机可通过 before_deny 回调放行受信工具。在 Python 3.12+ 上默认启用 sys.monitoring 监控非标准库原生调用，原生模块可用 fastaudit_safe_native 入口点声明安全前缀。
推荐理由：这是 AnswerDotAI 自家工具的完整说明，明确了威胁模型与已知局限，帮助读者判断它适用和不适用哪些 LLM 代码执行场景。