VaultGuard-RAG:在检索层执行访问控制的多模态 RAG 开源项目
VaultGuard-RAG 是一个开源多模态 RAG 项目,将访问控制强制实现在检索层内,确保 LLM 永远看不到用户无权查看的数据。项目采用 MIT 许可证,源自 Code Carnival 3.0 的 PS-01 题目,由 Team Huge Monster'z(Q8FX)团队开发。
新闻、仓库与研究,按时间排列。
VaultGuard-RAG 是一个开源多模态 RAG 项目,将访问控制强制实现在检索层内,确保 LLM 永远看不到用户无权查看的数据。项目采用 MIT 许可证,源自 Code Carnival 3.0 的 PS-01 题目,由 Team Huge Monster'z(Q8FX)团队开发。
GitHub 用户 sammycruz001 开源了 llm-prompt-injection-lab 仓库,用 Python 自定义脚本对 ChatGPT、Claude、Meta AI 等生产级 LLM 测试直接提示词注入、越狱和系统提示词提取,并记录 AI 安全测试方法。
postgresql-mcp-js 是一个基于 Bun 运行时的 MCP(Model Context Protocol)服务器,用于简化 PostgreSQL 数据库的连接与交互。该项目提供 Windows .exe、Mac .dmg、Linux .tar.gz 安装包,无需编程知识即可通过图形界面进行查询、插入等数据库操作,支持本地和云端数据库连接。系统要求 Windows 10、MacOS 10.15 或较新 Linux 发行版,建议 2 GB 内存、500 MB 磁盘空间,需安装 Bun 运行时。
justinbarrow30 在 GitHub 开源了 CerberusAI,一个只读的 agentic SOC,接入用户的 SIEM 并可搭配任意已批准的 LLM,通过自学习的网络基线对告警给出 auto-close 或 escalate 判定。核心推理基于确定性的统计与拓扑图(如 z-score 和前所未有的边检查),配可选的 Isolation Forest 加 autoencoder 集成异常检测层,ensemble 在留出评测中达到 ROC-AUC 0.996、F1 0.973;已支持 Wazuh、Elastic Security、Security Onion,Sentinel 适配器已构建待实机验证,通过 MIT 协议发布,可用 python lab/demo_fixture.py 复现演示。
推荐理由:原文完整给出了架构、只读安全设计、SIEM 适配和评测数据,读者可以直接克隆复现这个 agentic SOC 方案。
GitHub 开源项目 NomosGuard 是一个确定性安全推理核心,由 append-only SHA-256 哈希链证据账本、MulVAL 风格规则引擎和 fail-closed 策略门(ALLOW / ALERT / BLOCK)组成。LLM 只能读取事件、撰写带证据引用的结构化声明并解释决策,不能跨越决策边界。核心已实现并通过 51 项测试,基准测试 6 个场景 recall 2/2 = 100%、误报 0,采用 Apache-2.0 许可证。
LLMGuard 是一个本地 RAG 安全演示项目,包含提示词防火墙、检索内容防火墙、语义检测、训练好的 ML 分类器和 FAISS 检索,官方本地模型为 Ollama 上的 Qwen3 1.7B。项目采用 FastAPI、Jinja 和原生 JavaScript 构建认证控制台,提供仪表盘日志、文档上传与 RAG 摄入支持,登录仅支持管理员账号密码,登录接口 POST /auth/login 保持不变。
GitHub 上的 LLM-Application-Security-Prompt-Injection-Labs 仓库记录了对 LLM 及其 Web 应用的实战红队测试,所有发现按 OWASP LLM Top 10 分类。内容包括 PortSwigger 4 个靶场(过度代理、命令注入至 RCE、间接提示词注入、不安全输出处理至 XSS)、Lakera Gandalf/Agent Breaker 多级挑战(Solace AI、Cycling Coach 等已全部通关至 L3),以及 TryHackMe 的 LLM 部署渗透测试方法论。公开文档只写攻击面、技术类别和业务影响,利用 payload 保留不公开。
Reddit 用户 dasbin 发现 Strata 项目重写了全部历史提交,剥离提交说明中的"Co-Authored by Claude"文字,导致内置 UPDATE 脚本因缺少共同祖先而 git 报错。发帖者认为此举除隐瞒项目由 Claude 参与编写的来源外没有其他合理解释,并称之为不光彩的做法。
ikooky 在 GitHub 开源了 velric,一套 LLM 多 agent 驱动的自主渗透系统,Go 单体后端内嵌 Next.js 前端,依赖 PostgreSQL,当前版本 v0.3.3。核心是探索图与资产图的双图架构,planner 按多轮共享 todolist 逐步派意图、worker 领意图用真实工具执行并写回,支持 worker 间过程级信息交换、漏洞复测 Agent、一键更新与自动回滚,提供 Docker、二进制和源码编译等五种安装方式。项目采用 AGPL-3.0 协议,作者声明仅供本地学习研究,禁止对任何线上系统发起实际测试。
推荐理由:原文完整给出了安装、更新、回滚与双图架构设计,读者可据此评估这套 LLM 多 agent 渗透系统的可部署性与自主推进机制。
GitHub 上的 llm-course 项目提供系统学习大语言模型(LLM)的开源课程,包含学习路线图和可直接在浏览器运行的 Colab notebooks。课程面向零编程基础的新手,涵盖 LLM 原理、动手练习和 AI 未来方向,材料可通过 Releases 页面下载,并会定期更新。
scaso01 在 GitHub 发布 claude-risk-guardrails,为 Claude Code 提供 25 条护栏,分成六个可独立安装的包,每条在会话内校验智能体的声明、对不可逆动作要求人工签核并留下可审查记录。项目将 SR 26-2(美联储、OCC 与 FDIC,2026 年 4 月 17 日)与 NIST AI RMF 1.0 及 NIST AI 600-1 的原则类比套用,明确声明不构成合规认证;签核通过一次性代码(如 approve G-4821)完成,默认有效期 15 分钟,且模型无法批准自己的动作。作者用 replay.py 统计各护栏的历史触发率来排序,live 运行发现并修复了六个单元测试漏掉的真实绕过,全部 25 条截图见 docs/CONTROLS.md,MIT 许可。
推荐理由:项目借鉴银行模型风险管理框架为 Claude Code 设计 25 条护栏,并用真实会话演示与回归测试给出可用性证据。
coreymathie 开源 secure-voice-agent,一个可接听电话、收款并写入业务系统的语音 AI Agent,在模型与所有工具之间放置确定性防护层:默认拒绝的允许列表、社工风险评分、向档案号码发送一次性码的 step-up 验证、限速、PII 清洗、哈希链审计日志和幂等签名请求。技术栈为 Pipecat 1.x、Twilio Media Streams、OpenAI Realtime(或 Claude+Deepgram+ElevenLabs、Gemini Live)、AWS Lambda 与 Fly.io。
推荐理由:原文把每个安全控制的代码位置、对应测试和失败模式都列了出来,读者可以直接复用这套在模型外做确定性防护的方法。
Butler 社区学院(Andover 校区)网络防御教师开发的 GrizzDog-AI 是一个独立学术研究与教学用的 LLM 安全实验沙箱,2026 年 10 月更新后全部 27 个基准攻击向量已映射到 OWASP LLM01–LLM07 与 MITRE ATLAS AML.T0051–AML.T0057,并对齐 NSA/DHS CAE-CD 课程知识单元。项目围绕 4 个校园角色(机器犬哨兵、助教、Canvas 评分器、注册主任)提供 6 类红队任务和 4 级难度递进的防护版本,新增 `batch_grade.py` Canvas 批量评分器(含 HMAC-SHA256 签名校验)与一次构建全部 18 个模型的 `build_models.py`。
GitHub 上的 What-Is-RAG 是一款免费的 Windows 学习应用,用于演示检索增强生成(RAG)如何从数据库检索信息再生成回答。它要求 Windows 10/11、8GB 以上内存和 500MB 空间,支持上传个人文档到 "Source" 文件夹建立索引,并提供概念定义、代码实现和可视化检索三类界面。软件完全本地运行、不向外部服务器发送文档,仅首次启动需联网验证文件。
llm-install-2026 是一款可在 Windows 10/11 上本地运行大语言模型的离线应用,要求至少 8 GB 内存、10 GB 存储空间,配备 6 GB 显存的 NVIDIA GPU 可显著提速。软件支持 Llama、DeepSeek、Qwen、Gemma 四种模型,首次选用时需联网下载,之后完全离线运行、数据不出本机。它还集成 Whisper 语音转文字和 Open WebUI 浏览器界面。
Thyra-AI 在 GitHub 发布 llm-env-vault,一个 MCP 服务器,把 .env 文件中的真实密钥替换为编号占位符并存入密码加密的本地保险库。AI 智能体只能读到占位符;运行真实命令时通过智能体无法操作的 GUI 密码对话框授权注入。v2 格式采用 scrypt 密钥派生与 AES-256-GCM,支持纸面恢复密钥、8 小时可信命令缓存和 .levault 整文件加密,可作 Claude Code 插件安装。作者明确了威胁模型边界:不防护已持有主密码或可驱动 GUI 的智能体,加密后原文件的删除是尽力而为,离线攻击 vault.enc 的强度取决于密码长度。Windows 是受测平台,macOS/Linux 需 PATH 上有 python。
推荐理由:原文详细说明了占位符替换、加密格式和威胁模型的边界,读者可以据此评估这个把 .env 密钥隔离在 AI 编程智能体之外的方案是否适用。
开源项目 LLM-Safety-Guardrail-API 是一个异步 FastAPI 微服务,在上游 LLM 推理前检查输入,提供 prompt injection 与越狱正则检测、PII 自动脱敏和可配置 strict mode。基于预编译 regex 实现低于 5ms 延迟(示例请求 latency_ms 为 1.42),支持本地 uvicorn 运行和 Docker 部署,并暴露 POST /v1/guard/inspect 接口。
开源工具 telegram-cli 可将 Telegram 账号接入 Claude Code、Cursor、GitHub Copilot、Grok、Codex 等 AI 智能体,让智能体读取消息并以 JSON 结构化数据(含发送者、时间戳、内容和媒体链接)自动回复。它支持 Windows 10/11,需 200MB 磁盘空间,凭据本地存储,并可将消息发送至用户选定的 AI 服务。
GitHub 用户 ppradyoth 发布开源工具 knowyourai,通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致,用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型,不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则,支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库,其中 61 个(48%)的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段,仓库地址为 https://github.com/ppradyoth/knowyourai。
推荐理由:工具只读文件头不运行模型,还给出了对下载量前 200 的 GGUF 仓库的模板差异实测,方法可复用。
GitHub 仓库 Addyk-24/Niyam-AI 发布,为 LLM 智能体的每次工具调用附加 zk-SNARK 证明,第三方约 50.7 ms 即可验证且无需模型权重。在 Agent-SafetyBench 2,000 个场景的 5 折交叉验证中 F1 达 88.8%,高于 NeMo Guardrails(40.4%)、GPT-OSS-Safeguard-20B(46.2%)和 Llama Prompt Guard 2(66.8%),但作者注明 Judge 拟合了基准分布而基线为零样本;红队 18 个攻击向量修复后全部拦截,已知缺口是门控读取的 PyTorch 输出与被证明的电路输出尚未绑定,证明生成约 1.7 秒,适合低频高风险操作。
推荐理由:仓库同时给出了与 NeMo Guardrails 等基线的 F1 对比、消融、红队结果和已知缺陷说明,便于读者评估 zk-SNARK 护栏的真实代价。
kkcyber2 在 GitHub 开源了 Bounty Machine(bountymode),一个授权优先的漏洞赏金工作流框架,不自己实现攻击,而是通过默认拒绝的授权门编排安全测试,输出可提交的 HackerOne / Bugcrowd 格式报告。框架内置 ai_llm(19 项技术,含 prompt injection、jailbreak、RAG poisoning 等)、web_api、cloud、cicd 四个域,支持真实 CVSS v3.1 打分、证据脱敏哈希链存储、N-of-M 复现验证、指纹去重,新增域只需写一个 adapter;默认 dry run,破坏性技术无条件拦截,需 Python 3.9+,核心零运行时依赖,MIT 许可。
gebruder 在 GitHub 开源了 Wirken,一个面向自主 Agent 的企业网关,以单个静态 Rust 二进制分发,MIT 许可。网关将 Telegram、Slack、Teams 等消息渠道接入 Agent,核心假设 Agent 本身不可信:凭据保存在加密 vault 中不进入模型上下文,每个动作执行前写入哈希链审计日志,默认最低权限,shell 命令在无网络的临时容器沙箱中运行,且按 Agent 设置支出预算。模型连接不绑定厂商,可接 frontier API、Ollama 本地权重或欧盟托管端点。README 明确列出已知局限,包括出口流量未完全隔离、沙箱可关闭、注入检测只标记不拦截、权限按 Agent 而非按用户生效等。
推荐理由:该仓库写明了权限模型、沙箱与审计的实现边界,并列出逃逸开关和已知局限,方便读者评估这类企业 Agent 网关的适用场景。
一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot,并开发提示词注入检测层,通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例,覆盖良性提示、误报和检测绕过尝试,最终全部通过,在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词,基于关键词的过滤是教学原型,不能替代生产级 LLM 安全防护。
GitHub 上的 agent-mesh-demo 项目展示服务网格如何补足 AI Agent 认证之后的授权问题,包括可调用哪些工具、代表谁、经哪些 Agent、模型 token 预算和可发给模型的数据。Demo 基于 Solo 版 Istio ambient 模式运行,Solo Enterprise for agentgateway 作为同一控制平面上的 waypoint,无 sidecar、Agent 内无安全代码。
regnant-io 在 GitHub 开源了 Cordon,一个部署在本地模型运行时之前的保密推理控制平面,提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行,支持 light 到全气隙 dark 共五种部署模式;README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分(如 SGX-DCAP、证书吊销)以及有意保留的弱点。
推荐理由:原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点,读者可以据此评估它是否适合自己的保密推理部署。
GitHub 开源项目 interview-assistant 基于 interview-coder-cn 二次开发,面向口语面试与在线考试场景,通过百炼 ASR 实时转录系统音频,并自动生成流式口语回答。它内置 ELLT 口语和技术面试两套可配置阶段预设,支持截图内容识别、自动语音模式和命令模式,窗口对屏幕分享软件隐身。语音转录使用 Fun-ASR 模型,约 0.02 元/分钟,新用户有 10 小时免费额度,项目采用 CC BY-NC 4.0 协议,禁止商用。
GitHub 仓库 scadastrangelove/awesome-ai-security-tools 收录了 AI 安全与 AI 辅助网络安全领域的开源、研究和商业工具,覆盖安全发现自动分诊、AI Agent 安全、AI/ML 供应链、渗透测试 Agent、AI SAST、LLM 红队测试及 SOC/SIEM 分诊等类别。清单用 🟢🔬🟠⚠️ 标注许可证状态,并提供脚本刷新 GitHub star 数据,最近一次刷新为 2026-10-08。收录项目包括 Arm 的 Metis、腾讯朱雀实验室的 AI-Infra-Graf(★ 6,789)等。
GitHub 仓库 mchx-cs/agentic-llm-redteam 发布 LLM 渗透测试自动化框架的 Phase 0 骨架,仅搭建攻击者→目标→裁判的本地循环,不含真实攻击,预期每次判定为"NON"。项目 100% 本地免费运行,通过 Ollama 拉取 llama3.2,所有 LLM 调用统一走 `demander_au_llm()` 抽象层,改一行 `PROFIL_ACTIF = "api"` 即可切换到 API。后续计划加入 prompt injection、jailbreak 等真实攻击族,并集成 garak 与 PyRIT。
duki-core 在 GitHub 发布 llm-output-guard,一个厂商无关的轻量库,针对本地/自托管 LLM 应用的四类安全问题:系统提示词泄漏、文本标记与结构化 tool call 的未授权动作执行、以及经 RAG 内容的间接提示词注入。库内含 PromptLeakGuard 三层检测(字符串匹配、嵌入相似度、LLM judge)、ActionGate 用户确认门控、context_guard 输入清洗和 ToolCallGuard 结构化调用校验,作者从基于 LM Studio 的本地聊天伴侣项目中抽出,MIT 许可,并明确说明这是启发式纵深防御而非正式安全保证,流式与 async 支持尚未实现。
推荐理由:这个开源库把系统提示词泄漏、幻觉动作执行和间接注入拆成四类问题,并诚实列出了每层防御的失效条件,方法可直接迁移到本地 LLM 应用。
作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b(Q4_K_M)各跑 96 次,共 192 次 live 测试,验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证,无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审,只对照宿主状态检查工具调用的授权、目标和重复提交。
推荐理由:作者用 192 次本地实测给出确定性行为守卫的前后对照数据,还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异,可作工程参考。
safia-habib 在 GitHub 开源 llm-security-check,一个只读、被动的 Web 扫描器,用通俗英文报告 AI 应用的 LLM 相关安全问题:JS 包、.env、source map 中的 OpenAI、Anthropic、Google Gemini、Groq、AWS 等提供商密钥,客户端代码中的 JWT,浏览器直连提供商 API,前端暴露 system prompt,CORS 配置过宽等。每项发现附带风险说明、攻击场景和修复步骤。工具只发 GET 和 HEAD 请求,不测试密钥有效性、不运行无头浏览器、不扫描需登录的页面,报告仅在内存中保留最多 30 分钟,支持 Docker 和 Fly.io 部署,采用 MIT 许可。
推荐理由:原文明确了工具的检测范围和刻意保留的局限,读者可据此判断它适合放进什么样的自查流程。
sushant-me 在 GitHub 发布了论文《LLM Agent Firewall》的可复现实现,包含 6,000 条确定性智能体间消息语料、亚毫秒级 TF-IDF + 逻辑回归分类器,以及置信度校准的两层路由,仅升级不确定流量给语义判官。在 CPU 上约一分钟跑完全部核心结果,无需 GPU、API 密钥或网络。实测 Strata I+II held-out 准确率 1.000、0 误报 0 漏检,分类器平均延迟 0.333 ms,5% 隐蔽攻击占比下混合延迟 271.5 ms(比全部走判官快 19.9 倍)。
推荐理由:作者复现了论文的多智能体提示词注入防火墙方法,还披露了语料格式混淆这类基准设计陷阱,做法对自建评测的人有参考价值。
作者开源 monkeyleash,一套让不会逐行读代码的人监督 AI 编码代理的治理工作流,前身是 agent-gates。核心思路是提示词只是建议、文件和 hook 才是约束:仓库含 9 条规则(R1–R9)加用户级 G1、 outpost 与 pre-commit 双层执行、六站主管线、带哈希链的账本、只读 MCP 服务器和 148 条摩擦日志(编号至 F-159)。作者明确说明仅在 Windows 上用 Claude Code 自测过,1313 项本地测试通过,尚未有外部使用者验证。
gawk-dev 发布开源工具 mcpgawk,读取 Agent 可达的 MCP 服务器,将每次调用与已批准的基线比对,拦截批准后悄悄变更的工具,全程本地运行、不上传数据。工具提供 pre-execution 拦截(约 10ms 本地决策,支持 21 个客户端中的 6 个)、沙箱实测工具行为(数据外传、SSRF、tool poisoning)、token 成本索引和完整性哈希追踪;另有付费的 mcpgawk Platform 提供 enforce 与 monitor,CLI 可通过 uv 或 pipx 安装,支持 GitHub Action CI 门禁,采用 Apache-2.0 协议。
推荐理由:针对 MCP 服务器批准后悄悄改工具的 rug-pull 问题,给出了本地拦截、沙箱实测和零外传的具体做法,方法可直接迁移。
CrowdStrike 报告称,上周韩国部分最大型银行遭到的网络攻击可能由单人实施,攻击者组合使用了开源 AI 渗透工具 ARTEX 以及 DeepSeek v4.1-Flash、GLM-5.3、Grok 4.6 和 Claude Code。帖子转发自 Andrew Curran 与 Jukan 在 X 上的讨论,并附 CrowdStrike 报告链接。
推荐理由:材料引用 CrowdStrike 报告还原事件全貌,可以看出开源渗透工具与多个商用模型组合在真实攻击中的用法。
GitHub 仓库 freebuff-proxy 是一个本地代理程序,在用户与 AI 服务之间转发 OpenAI 兼容连接,声称提供私有高速通道。它采用 uTLS JA3 隐蔽技术、多 Token 池与按任务隔离的会话管理,双击即可运行,无需安装或注册。该工具面向注重隐私的 AI 用户,附带 Prometheus 指标和 9router 支持。
Unintelligence 是一款面向 Mac 用户的工具,可关闭 Apple Intelligence 的 Siri 建议、主动辅助等后台功能,满足隐私、性能或控制方面的需求。它无需安装,通过 GitHub 发布(如 v1.0),用户在界面中勾选要禁用的功能后点击 "Apply" 即可执行。文章还介绍了在 Windows 10 及以上系统(至少 4 GB 内存、100 MB 磁盘空间)以测试方式运行该应用的步骤,此环境下仅模拟流程,不会真正更改系统设置。
GitHub 用户 unbelievablejohn 发布 haa-llm-securitypro 原型,让模型在生成答案前先输出置信分,低分直接拒答,高分答案再由异厂商模型(智谱 GLM 主答、DeepSeek 验证)独立核对并做程序层实体比对。在 54 条自建样本上,验证层把 confident-wrong 从 7 条降到 1 条,减少 86%,过度拒答保持 1 条未增加。项目还给出置信分实为非连续刻度(30 到 88 之间无样本)、智谱 GLM 置信分波动是 DeepSeek 的 9 倍、ECE 达 33.1%、20 条 Red Team 对抗用例被攻破率 10%、以及 790 题 TruthfulQA 外部验证等结果,并附完整代码与各评测报告。
推荐理由:项目用对照实验和重复测量量化了模型自报置信分的失真,验证层对高置信错误的削减有数据支撑,方法可迁移到自建检索或作答流水线。
OpenA2A 开源了 Secretless,一个防止 AI 编码工具读到 API 密钥的 CLI 工具,当前版本 v0.23.1,采用 Apache 2.0 协议。它扫描项目中的硬编码凭据(57 种模式)并迁移到 OS keychain、1Password、HashiCorp Vault、GCP Secret Manager 或 AES-256-GCM 加密文件;对 Claude Code 通过 PreToolUse 钩子和 18 条 deny 规则拦截读取凭据文件的工具调用,Cursor、GitHub Copilot、Windsurf、Cline、Aider 则仅靠指令文件约束。
推荐理由:工具README讲清了钩子门控与输出检查两类防护的边界,连防不住的暴露通道也明说,适合评估AI编码工具的密钥防护方案。
BreakBot 是一个面向独立开发者和小团队的工作流感知型 Web 应用安全与 QA 测试工具,通过 DNS TXT 或 /.well-known/ 文件验证目标站所有权后,用 Playwright 爬取站点并分层执行功能 fuzzing、API 健壮性测试和非破坏性安全检查。其核心差异点是 LLM 智能体驱动的多步、有状态"业务逻辑"攻击链,能发现单请求扫描器找不到的漏洞,每项发现附带可复现的 proof-of-exploit 和可重放的 curl 命令。