内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
369 条精选近 30 天 362 条共收录 1,324 条
mrwogu 在 GitHub 发布开源编译器 PromptScript（MIT 协议），用 .prs 源文件统一定义指令、技能、agents、MCP 服务器、hooks 和策略，编译为 Claude Code 的 CLAUDE.md、GitHub Copilot、Cursor 等 50 个编码 agent 目标的原生文件。支持 @inherit/@use/@override 分层继承与确定性合并，内置 prs validate 安全扫描可解码 hex、Base64 等编码并检测提示词注入（PS005、PS012 等规则），远程依赖通过 promptscript.lock 固定以保证可复现构建，并提供 prs migrate 从现有 CLAUDE.md 等文件迁移。
推荐理由：原文给出了编译流程、50 个目标平台和安全扫描的具体规则清单，读者可以评估能否用一份源文件替代多份易漂移的指令文件。
Blackman99 发布 keyroll（https://github.com/Blackman99/keyroll），离线扫描本机 Claude Code、Codex、OpenCode、shell 配置、.env 及备份中的所有 API key 副本，并通过各 issuer 的免费只读端点检查 key 是否仍有效（ALIVE/REJECTED）。keyroll rotate 只需粘贴一次新 key 即可重写所有生效副本并清除遗留副本，keyroll ci 可列出 GitHub Actions 中疑似供应商 key 的 secret 名称；工具只显示指纹和密钥末四位，绝不读取或输出密钥值，单一 Go 静态二进制、无第三方依赖。
推荐理由：作者完整公开了工具的扫描范围、检查与轮换流程和不读密钥值的安全设计，读者可以据此评估是否把它用于管理本机散落的 API key 副本。
作者发布 llm-collusion-audit 仓库，在 Apart Research AI Collusion Sprint（2026 年 10 月 23 至 25 日）期间构建黑盒因果审计，从存档的重复定价博弈中重启并施加单一干预（强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方），区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。
推荐理由：该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价，方法预注册、含失败结果，结论可直接用于 AI 串谋检测讨论。
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
HaikeiLabs 发布 Agentware，一套支持 Go、Python 和 TypeScript 的 Agent 工具调用策略执行与审计中间件，每次工具调用经过单一拦截点，按声明式规则执行 allow、deny、filter 并生成追加式审计记录，结构在更换框架或模型时保持不变。它让发起任务的人类主体穿越每层子代理委派仍可追溯，记录调用触及的资源（如表、桶、端点）并沿委派链归因 token 成本；配套的 Kei 为仅存元数据的控制平面，客户内容、凭证和索引不进入 Kei，SDK 已发布至各语言公共 registry，当前版本 0.12.0 要求 kei-proxy 不低于 v0.3.0。
推荐理由：它把审计记录做成跨框架不变的统一结构，让人类发起者在多层子代理委派后仍可追溯，这个资源级血缘思路可迁移到其他 Agent 治理场景。
NYU 的 Sai Akhilesh Vangala 开源了 RegLens，一个基于联邦消费银行法规的信用社客服 Copilot，语料为 2026-10-02 固定版 eCFR，含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议，确定性代码把关：引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单，未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0，单题成本 $0.0013；检索实测发现混合检索（BM25+dense RRF）反而低于纯稠密检索，引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47，项目以 MIT 许可发布。
推荐理由：作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置，检索与幻觉数据齐全，可作 RAG 验证设计的参照。
Shanjeev Rajendran 发布开源工具 Cloakroom（Apache-2.0），在本地把 API 密钥、机密和个人数据（PII）替换成占位符后再交给 AI 编码代理，写入文件时在本地还原真实值。0.7.0 起在 Mac 和 Linux 上支持 OpenAI Codex CLI 和 Google Gemini CLI；实测对 1,005 条个人数据零泄漏，而对比的 Claude Code 隐私工具泄漏 119 至 992 条。真实值存于本机加密保险库，检测模型仅首次从 Hugging Face 下载一次（Mac 约 1 GB，其他平台最多约 4 GB），提供防篡改活动日志、dashboard 误报学习规则和面向金融团队的付款调用拦截与审计功能。
推荐理由：原文给出与其他 Claude Code 隐私工具的横向实测数据，泄漏数和误报数都有对照，读者可据此评估是否值得在本地部署。
esinecan 发布了 mcp-inspector-as-mcp-server，一个基于 MCP SDK v2 的精简 MCP 服务器，可让 LLM 直接检测、调用和测试其他 MCP 服务器的工具、资源与提示词。v2.2.0 支持会话管理、事件缓冲、协议时代协商（可判断目标服务器是 legacy 还是 modern 无状态协议）、mcp-cli 命令行、OAuth 认证、Web 搜索路由、Windows 守护进程与桥接等能力，并支持人类通过 insp_inject_steering 或 HTTP API 实时注入引导消息，实现 human-in-the-loop 的 MCP 调试工作流。
推荐理由：原文把 MCP 检测功能整合成单一 MCP 服务器和 CLI，并详细说明了协议时代协商、会话管理与人类介入机制，方法可直接复用。
Tong-bit-art 在 GitHub 开源了 Regression Firewall，一个面向 AI 编程智能体的行为回归安全层，在智能体改代码前后捕获 HTTP 状态、CLI 输出、退出码和公共 API 等可观测行为，对照声明的意图做结构化 diff，输出 EXPECTED/UNEXPECTED/UNCERTAIN 分类、0-100 风险分和 PASS/REVIEW/BLOCK 判定，全程无 LLM 参与、结果确定性可复现。工具要求 Python 3.9+，尚未上架 PyPI，需克隆仓库安装，唯一运行时依赖是 PyYAML。
推荐理由：工具在 AI 编程智能体改代码前后捕获可观测行为并给出确定性判定，附真实仓库与留出集评测数据，可评估其检出能力。
作者 Mesut Güngör 在 GitHub 开源了 llm-scan，一个面向 Hugging Face、ModelScope 及本地模型的开源 LLM 安全扫描工具，采用零执行静态分析，覆盖 pickle 反序列化 RCE、trust_remote_code、Jinja2 SSTI（CVE-2024-34359）、SafeTensors 内存炸弹（CVE-2023-44469）等 42 条规则，并附 SHA-256 验证引擎。
推荐理由：作者开源的静态扫描工具在不执行模型代码的前提下检查权重、模板和配置，并给出与 OWASP、NIST 等框架的逐条映射。
Mikko Parkkola 发布 MCP Gateway，一个单二进制 Rust 网关，把 MCP 服务器和 REST API 聚合在 9-17 个元工具的紧凑表面之后，通过 gateway_search_tools 和 gateway_invoke 按需发现并调用后端工具。每个 MCP 工具定义约耗 150 token，20 个服务器 100 个工具约 15,000 token；实测中元路径完成任务反而多用 1.2-16.1% 输入 token 并多一轮，价值在于目录容量、策略与路由。支持约 8ms 热重载、工具投毒校验、SHA-256 能力固定、多租户身份传播和 A2A 适配，内置 110+ 能力，采用 PolyForm Noncommercial 1.0.0 许可，商用需授权。
推荐理由：README 附带实测基准，说明网关省下的是目录容量而非完成任务时的 token，读者可据此判断是否值得引入。
Two Much Labs 发布 reversibility-classes（spec v0.2 草案、rclass 0.3），定义 R0 到 R4 五级可恢复性分类，并开放覆盖 20 个 MCP 服务器、536 个工具的带证据链接登记表。rclass scan 可扫描 Claude Desktop、Claude Code、Cursor、VS Code 或 Windsurf 的本地 MCP 配置，按最坏参数情形分级，未识别服务器一律计为 R4；项目还提供网关接入示例、preimage 覆盖等部署级降级机制、46 个一致性测试向量和 CI 用的 --list 模式。
推荐理由：作者提出按可恢复性而非严重性给 Agent 工具分级，并给出可复用的扫描器和 536 个工具的开放登记表，方法可直接移植到自己的网关。
AyushAditya444 发布 data-leak-guard，一个 OpenAI 兼容的 drop-in 代理，拦截 Aadhaar、PAN、手机号、UPI ID、银行账号、IFSC、地址、姓名和 API 密钥等敏感信息，在请求发给 LLM 前掩码替换、收到回复后还原，应用只需改一行 base_url 即可接入，项目处于 7 个阶段的第 5 阶段。在 1600 条合成消息的 held-out 测试集上整体 F1 为 94.4%，负样本误报率 1.4%；规则检测延迟 p50 0.175 ms，加 CPU 上的 ONNX 人名模型后 p50 17.340 ms。
推荐理由：项目给出了1600条held-out测试集的分类型精确率召回率和延迟数据，读者可据此评估这套脱敏代理的可靠程度。
开源项目 Skybreaker 在用户自有 Linux 服务器上以 gVisor 沙箱按项目运行 Claude Code、Codex 和 pi，内置 broker 托管凭据、按策略逐请求放行、挂起或拒绝。支持经 Tailscale 从网页、手机、终端或 VS Code 驱动，提供审计与 kill switch、分支级 diff 审查与 PR 流程，AGPL-3.0 协议，当前为 pre-1.0。
推荐理由：这是一个开源的编码智能体沙箱方案，凭据由独立 broker 托管并逐请求审批，适合关注本地部署安全的开发者参考其架构设计。
作者发布 Ephor，一个只检测不拦截的 Linux CLI，通过读取内核 socket 表和 /proc 被动记录 AI Agent 的出站连接、下载量和是否命中已知恶意目的地，无需配置代理、被入侵的 Agent 也无法绕过。它还能展示每个 Agent 的权限爆炸半径，包括运行用户、Linux capabilities、免密 sudo 和可读的密钥文件；仅依赖 Python 标准库，可在 Pi Zero 2 W 等 512 MB 小设备上运行。v0.3 新增安装与 DNS 监控，追踪 pip/npm 安装并查 OSV.dev，可选 eBPF probe 补捉秒级进程，威胁判定默认离线匹配 URLhaus、Feodo Tracker、FireHOL 等免费 feed，VirusTotal 查询默认关闭。
推荐理由：原文讲清了无代理被动监测的实现原理、资源占用与同类工具对比，读者可以判断它是否适合放进自己的 homelab 监控栈。
saasclawai-org 在 GitHub 发布 ClaimCheck，一个本地优先的 LLM 假名化网关，单个自包含二进制提供两种模式：MCP server 供 Cline、Cursor 等客户端调用 read_sanitized 等工具，LLM proxy 对 OpenAI 兼容请求在线路层脱敏、响应时还原。占位符如 [FEIN_1]、[SSN_2] 稳定可逆，映射 vault 只存本机；内置 regex 识别器覆盖 SSN、信用卡、API 密钥、PEM 私钥等，可选本地 BERT ONNX NER 层捕捉自由文本人名组织名。作者明确说明局限：不覆盖 PDF/DOCX 等二进制格式和非英文文本，vault 未加密，MIT 许可下无任何担保。
推荐理由：原文给出了假名化工具的两种工作模式、可识别的 PII 类型清单和明确不覆盖的范围，便于评估是否适合本地脱敏工作流。
TroubieD3v 在 GitHub 开源发布 AgentShield v0.1.0，一个测试 LLM 应用、AI Agent、RAG 系统和工具调用安全性的工具，关注 Agent 实际做了什么而非回答文本是否可疑。包含 12 个模块、46 个场景定义扩展为 60 个可执行用例、12 类攻击（含直接与间接提示词注入、工具滥用、内存投毒、跨租户 RAG 泄露），映射 OWASP LLM 与 Agentic Top 10。
推荐理由：面向 Agent 的安全测试不只看文本回答，而是核对工具调用与实际行为，46 个场景映射 OWASP LLM Top 10，方法可迁移到自己的 Agent 测试。
sundi133 在 GitHub 发布开源的 llm-shield，一个部署在应用与 LLM 之间的 AI guardrails 平台，内置 19 条覆盖输入安全、输出质量和 Agent 安全的护栏，采用 CPU 快速护栏先行、LLM 护栏按需运行的两级并行流水线。支持基于 Redis 的多租户护栏策略与限流配额，提供基于角色的工具授权、MCP 工具校验、跨工具数据污点追踪、目标漂移检测和工具 kill switch 等能力，可用内置 Qwen3-8B 后端跑在 RunPod，或作为网关代理任意 OpenAI 兼容 API，并附 NIST AI RMF / OWASP LLM / ISO 42001 合规映射文档，MIT 许可。
推荐理由：开源 AI guardrails 平台，19 条护栏分两级流水线，覆盖多租户策略、工具授权、数据污点追踪和目标漂移检测，可按清单对照自己的 Agent 安全需求。
新加坡国立大学 ESP3201A 课程项目 trace-and-gate 在 GitHub 开源，针对能收发邮件的 LLM 邮件助手，对比溯源追踪与策略检查两类防御对抗间接提示词注入的效果。Qwen3-8B 本地实测中，无防御基线攻击成功率 33.0%，Dual-LLM 为 2.1%，溯源追踪 D1 为 0%，策略检查 D2 为 1.0%，D1h 在套件 v2 复测中攻击成功率 0% 且正常任务完成率与基线持平（87.5%）。项目含 Docker 沙箱环境、LLMail-Inject 真实攻击采样与 AgentDojo 桥接，第 10 周将加入冻结防御后编写的 held-out 攻击集。
推荐理由：项目给出了五种防御配置的攻击成功率与正常任务完成率对照数据，可用来比较溯源追踪与策略检查这两类防注入思路的代价。
wardowl（2.0 前名为 needtoknow）是一个开源 Python 库，把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部，每次命中再复核并故障时关闭，保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回，pgvector 上 recall@10 保持 0.949 以上；百万 chunk 场景下中位延迟 3 到 21 ms，每秒最多可服务 126 次请求。
推荐理由：项目给出基准数据说明在搜索内做权限过滤可保住召回率，对搭建企业内部 RAG 的团队是可参考的做法。