跳到正文
  1. GitHub · 灵魂体仓库62

    JevPromptShield 发布:为 Claude Code 提供模型外提示词注入与危险命令防护

    JamesANZ 发布 JEV Shield,一个在模型之外检查提示词与 Bash 命令的防护工具,通过 Claude Code hooks 拦截提示词注入和破坏性命令,决策由 hook 进程而非模型作出。作者用 Gandalf 公开的 21 条提示词实测,仅孤立打分时拦截 6 条,填入密码上下文后拦截 17 条,三个普通问题均放行。项目含本地快速策略、OpenAI 兼容代理、MCP 扫描器及图片音频转写分析,Jev 评分依赖 TypeSafe key,官方定价为每百万输入 token $0.042。

    推荐理由:该项目把拦截决策放在模型之外,并用 Gandalf 公开提示词集实测了上下文对检出率的影响,方法可复用到自己的 Agent 防护里。

  2. GitHub · 灵魂体仓库60

    lambdasec 发布 Frame 安全扫描 Agent:静态分析加 LLM 推理找漏洞

    lambdasec 在 GitHub 开源 Frame,一个结合可靠静态分析与 LLM 推理的安全 Agent,用污点分析加分离逻辑与 Z3 证明漏洞可达,可选 LLM 层补充检测、验证并生成补丁。支持 Python、JavaScript/TypeScript、Java、C# 和 C/C++ 五种语言的跨文件污点追踪,内置 70+ 框架 pack,检测 80+ 漏洞类别。基准显示在 Endor Labs 语料上 recall 0.67、precision 0.51(Semgrep 为 0.52 / 0.40),LLM 层可运行本地 mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit 或托管 GLM-5.2,并提供 --changed 与 baseline 工作流用于 CI 门禁。

    推荐理由:把污点分析、分离逻辑证明与可选 LLM 层组合成一个安全 Agent,基准数据里也标出了输给对手的案例,可作选型参考。

  3. GitHub · 灵魂体仓库73

    mcp-doctor:为 MCP 服务器与 AI 智能体工具提供评测和防护的开源工具

    vishalhabib99 在 GitHub 开源 mcp-doctor 0.35.0,对 MCP 服务器做静态扫描、模糊测试和实时调用防护,覆盖 Python、TypeScript、Go 和 Rust,可在 CI、pre-commit、Claude Code、Codex 和 Cursor 中运行。工具检测在 805 个真实服务器上找到 15,755/15,977 个工具,修复已合并进 ha-mcp、telegram-mcp(111 个工具一次 PR)等 58 个仓库共 61 项;guard 能识别写入未落地的假成功、schema 参数被忽略和提示词注入导致的密钥外泄,并给 PR 输出 SHIP / FIX-FIRST / BLOCK 结论。

    推荐理由:这个 MCP 服务器检查工具用真实服务器上的召回测量和上游合并修复来支撑结论,读者可以直接借用它 catching 假成功和提示词注入泄露的思路。

  4. GitHub · 灵魂体仓库62

    mcp-doctor:毫秒级审计 MCP server 与 AI agent 工具清单的开源工具

    Ranjith Rosan 发布开源工具 mcp-doctor,可在毫秒级审计 MCP server 或 AI agent 工具清单,在上线前发现不安全工具、损坏 schema 和 token 膨胀问题。工具通过纯 ast.parse 静态检查 Python MCP server(FastMCP、官方 mcp SDK、@tool 装饰器)及 MCP tools/list、OpenAI、Anthropic JSON 清单,不执行不可信代码,Python 3.11+ 零外部运行时依赖。

    推荐理由:审计工具覆盖 shell 注入、SSRF、路径穿越和 token 开销四类问题,规则表和示例报告齐全,部署 MCP server 前可直接复用。

  1. GitHub · 灵魂体仓库59

    agora 开源重复市场中 LLM Agent 合谋评测基准,含六个场景与合谋指数

    GitHub 项目 agora 发布了一个自包含的 LLM Agent 合谋评测基准,覆盖价格战、拍卖、供应链、电网储能、网约车和 GSP 广告竞拍六个重复市场场景,致敬 Terrarium 与 Colosseum 团队的前期工作且不依赖二者。

    推荐理由:该框架为六个市场场景给出解析式的竞争与合谋基准,合谋指数归一化,便于横向比较不同模型的合谋倾向。

  2. GitHub · 灵魂体仓库57

    ai-watermark-scrambler 仓库发布可移除 AI 水印与元数据的 agent skill

    novatechflow 在 GitHub 发布 ai-watermark-scrambler,一个用于打乱统计文本水印(green-list、SynthID-Text、Claude 内嵌文本水印等)并清除隐写 Unicode 与 C2PA/EXIF/XMP 元数据的 agent skill。改写可削弱但无法证明消除统计水印,像素、音视频及可见水印不在处理范围;支持 Claude Code、Cursor 等通过 SKILL.md 加载,Apache License 2.0。

    推荐理由:README 讲清了统计水印的原理与改写为何能削弱信号,并给出各通道的可移除范围和残留风险表,便于评估工具边界。

  3. GitHub · 灵魂体仓库72

    keyroll 开源:一键查找并轮换本机所有 AI 供应商 API key 副本

    Blackman99 发布 keyroll(https://github.com/Blackman99/keyroll),离线扫描本机 Claude Code、Codex、OpenCode、shell 配置、.env 及备份中的所有 API key 副本,并通过各 issuer 的免费只读端点检查 key 是否仍有效(ALIVE/REJECTED)。keyroll rotate 只需粘贴一次新 key 即可重写所有生效副本并清除遗留副本,keyroll ci 可列出 GitHub Actions 中疑似供应商 key 的 secret 名称;工具只显示指纹和密钥末四位,绝不读取或输出密钥值,单一 Go 静态二进制、无第三方依赖。

    推荐理由:作者完整公开了工具的扫描范围、检查与轮换流程和不读密钥值的安全设计,读者可以据此评估是否把它用于管理本机散落的 API key 副本。

  1. GitHub · 灵魂体仓库60

    data-leak-guard 开源防止印度个人敏感数据泄露进大语言模型的代理

    AyushAditya444 发布 data-leak-guard,一个 OpenAI 兼容的 drop-in 代理,拦截 Aadhaar、PAN、手机号、UPI ID、银行账号、IFSC、地址、姓名和 API 密钥等敏感信息,在请求发给 LLM 前掩码替换、收到回复后还原,应用只需改一行 base_url 即可接入,项目处于 7 个阶段的第 5 阶段。在 1600 条合成消息的 held-out 测试集上整体 F1 为 94.4%,负样本误报率 1.4%;规则检测延迟 p50 0.175 ms,加 CPU 上的 ONNX 人名模型后 p50 17.340 ms。

    推荐理由:项目给出了1600条held-out测试集的分类型精确率召回率和延迟数据,读者可据此评估这套脱敏代理的可靠程度。

  1. GitHub · 灵魂体仓库65

    开源 Python 库 wardowl 2.0 发布,为 RAG 提供权限感知检索

    wardowl(2.0 前名为 needtoknow)是一个开源 Python 库,把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部,每次命中再复核并故障时关闭,保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回,pgvector 上 recall@10 保持 0.949 以上;百万 chunk 场景下中位延迟 3 到 21 ms,每秒最多可服务 126 次请求。

    推荐理由:项目给出基准数据说明在搜索内做权限过滤可保住召回率,对搭建企业内部 RAG 的团队是可参考的做法。

  2. GitHub · 去对齐工具与仓库55

    CERBERUS 开源:基于 MITRE ATT&CK 审计本地 LLM 对抗提示风险的防御性评测框架

    PoisonXploIT 发布 CERBERUS,一个用于审计本地 LLM 在对抗性提示下有害输出风险的防御性评测框架,提示按 MITRE ATT&CK 结构化组织,帮助安全团队在内网部署无审查模型前评估风险。框架采用双层评分:先由确定性启发式打分,仅对 [0.3, 0.7) 的模糊区间调用可选的云端 LLM judge(默认 OpenRouter,可配 DeepSeek、OpenAI 等),并按 harm_final = max(启发式, judge) 保守合并。

    推荐理由:原文给出了基于 MITRE ATT&CK 的双层评分与被动评测流程,安全团队可在内网部署无审查模型前量化其有害输出风险。

  1. GitHub · 去对齐工具与仓库61

    TaintGate v0.1.0 开源:面向 LLM 智能体的信息流防火墙

    guru-bharadwaj20 发布 TaintGate v0.1.0,一个让标签随值流动、用确定性 Datalog 策略审查每次工具调用的 LLM 智能体信息流防火墙。受信任 planner 只见可信请求,不可信内容由无工具提取器转成带标签值,MCP 网关在副作用前询问策略引擎并输出可解释的 allow/deny 与带 Merkle 证明的审计日志。AgentDojo v1 对比在 Qwen2.5-0.5B-Instruct CPU 环境下完成 4,356 次评分运行,作者明确称其为下限而非胜利,因 0.5B 模型很少产生有效工具调用,对比未能区分各防御方案;策略检查中位开销 0.6 ms。

    推荐理由:作者把 AgentDojo 对比明确定位为下限而非胜利,并保留负面结果,可据此了解这套信息流防火墙的实际边界。

  2. GitHub · 灵魂体仓库65

    ertugrulbagdat/llm-vuln-scanner 开源发布,自动测 LLM 系统抗 prompt injection 能力

    GitHub 开源项目 llm-vuln-scanner 发布,可对 LLM 系统(chatbot、agent、API 后端)自动发送数百个 prompt injection 和越狱攻击模板,分析回复并生成带 Dayanıklılık Skoru(鲁棒性评分)的分类漏洞报告。

    推荐理由:这个开源扫描器给出了带评分公式和分层判定的注入测试流程,还能拿它检验自己部署的模型对越狱的抵抗力。

  3. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  4. GitHub · 灵魂体仓库57

    pi-secret-scanner v0.2.4 发布:为 Pi 编码智能体拦截工具输出与请求中的密钥

    koopycat 发布 pi-secret-scanner v0.2.4,这是一个 Pi 编码智能体扩展,可检测工具输出和发往 LLM 请求中的凭证并在离开本机前替换为类型化占位符,如 [REDACTED:AWS_ACCESS_KEY_ID]。检测结合已知凭证格式规则与基于熵的未知密钥探测,熵检测默认开启,提供 redact、warn、confirm、off 四种模式,支持 .secret-scanner.json 或 Gitleaks 兼容白名单,要求 Pi 0.74.0 或更新版本,采用 MIT 许可。作者强调检测是启发式的,属于最后防线,不能替代避免把凭证写入提示词、文件、日志和 shell 输出。

    推荐理由:原文给出了该扩展的检测机制、四种模式和安全边界说明,读者可以直接评估它在本机防密钥泄露中的定位。

  5. GitHub · 去对齐工具与仓库67

    AgentShield 开源:面向自主 AI Agent 的低延迟安全网关与事件回放引擎

    YashJ2303 在 GitHub 开源 AgentShield,一个面向自主 AI Agent 的低延迟安全网关与事件回放引擎,可实时拦截并按声明式策略评估 Agent 工具调用、从遥测流中脱敏凭据与 PII,并提供离线事件回放以在部署新策略或模型前检测回归。评测显示对建模过的破坏性操作拦截率 100.0% [92.1, 100.0]%,对未建模主动攻击为 45.5% [21.3, 72.0]%(对比 blocklist 的 9.1%,置信区间重叠),90 个良性任务误拦截 0.0%,完整插桩工具调用开销中位数 +18.046 ms p50(独立策略检查约 4.6 ms p50);回放回归检测 recall 25/25、specificity 23/25、precision 25/27。

    推荐理由:作者给出了带置信区间的拦截率、误拦截率和延迟开销数据,并披露了模拟代理与未验证部分的局限,便于评估该网关的适用性。

  6. GitHub · 灵魂体仓库71

    landmines 开源:用 lockfile 匹配 GitHub 已知 bug,在编码 Agent 编辑前拦截

    devanshranjan10 发布开源工具 landmines,它读取项目 lockfile 中固定的精确版本,检索针对该版本的开放 GitHub issue 并生成索引,通过 pre-edit hook 或写入 AGENTS.md/CLAUDE.md 的已知 bug 段落让编码 Agent 在编辑前避开这些坑。基准测试中,Claude Sonnet 5.5 无辅助通过 72/84(86%),加入 landmine rules 段落后通过 83/84(99%);同批对比中 web search 开启为 36/42、Context7 docs MCP 为 35/42,且 84 个会话中 Agent 从未主动调用这两个工具。

    推荐理由:作者用 84 个 held-out 任务对比了规则段落、pre-edit hook 与 web search、Context7 的效果,基准局限也写得坦率,方法可参考。

  1. GitHub · 灵魂体仓库65

    Split-View PDF 论文开源样本与验证代码,论文被 IEEE S&P 2027 接收

    Side Liu 和 Jiang Ming 的论文 What Users See Is Not What Models Read 被 IEEE S&P 2027 接收,仓库公开了配套样本与验证代码。内容包括 25 个最小提取差异 PDF(corpus_a)、25 个下游 LLM 评测 PDF 和 11 个 QA 适配 PDF,以及开源 PDF 解析器验证和 LLM API/Web 验证脚本,支持在 Ubuntu 上用 Python 3.10+ 和 Node.js 20.16+ 复现。

    推荐理由:论文配套仓库放出全部样本和验证代码,读者可以实际复现 PDF 对人和对模型显示内容不一致的攻击测试。

  2. GitHub · 灵魂体仓库57

    zero-trust-llm-firewall 开源:本地脱敏网关让律所安全使用 Claude 和 GPT

    typicaladrian 发布 zero-trust-llm-firewall,一个本地部署网关,在提示词离开内网前将姓名、案卷、金融和健康信息替换为占位符,模型回复再在内存中还原。流水线为正则、哈希客户名单、GLiNER2 NER 和全局一致性扫描,在 CUAD 合同上测得 91.4% 脱敏召回率,CPU 吞吐约每千词 11 秒;提供 OpenAI 兼容 API、审计日志和月度 PDF 报告,是 Elm Tech Solutions Zero-Trust AI Edge Gateway 硬件产品的核心。

    推荐理由:开源的本地脱敏网关,给出了基于 CUAD 合同的脱敏召回率实测数据,律所类隐私场景可直接参考复用。

  1. GitHub · 灵魂体仓库62

    Provael 发布:仿真中对开源 VLA 机器人策略做红队评测的 CLI 工具

    Provael 发布了一个 Python CLI,在仿真环境中对开源 VLA 机器人策略做红队测试,报告对抗攻击成功率(ASR)并附良性对照、95% 区间和证据标签,Apache-2.0 开源、可经 pip 安装并接入 CI。CPU stub 确定性运行 20 秒内产出报告;实测配置 SmolVLA × LIBERO-Object 在 roleplay 指令下 42/50 离开 keep-out 包络(84%),良性基线 1/50,McNemar p = 9.1e-13,对照显示这是长命令下的脆弱性而非攻击者控制;π0.5 有初步实测,其余注册适配器为脚手架。工具仅限仿真与防御用途,输出 report.json、SARIF、OSCAL、CycloneDX ML-BOM 和签名证明等证据包。

    推荐理由:README 给出对抗攻击成功率与良性对照并列的实测数据,可看到纯仿真红队 VLA 策略的完整证据链做法。

  2. GitHub · 去对齐工具与仓库60

    CalibGuard 开源低成本文件安全审计系统,本地小模型门控加云端大模型灰区复核

    P-436 在 GitHub 发布 CalibGuard,一套面向脚本、代码、文本和压缩包的文件安全审计系统,输出放行、可疑、拦截、转人工四档结论。本地用 CodeBERT 滑窗推理加 Platt 校准做三桶门控,低危与高危文件不联网判定,仅灰区调用云端 LLM 复核,加复核后 F1 从 0.8600 升至 0.8689、精确率从 0.8739 升至 0.9017。CodeBERT 底座推理 22.4 条/s,约为 0.5B 级 Qwen 的 3–4.3 倍,训练快 2.3–3.2 倍;Releases 提供 GUI 包开箱即用,另有 dsh-calibguard 插件接入 DeepSeek Harness 作为 agent 工具调用。

    推荐理由:作者给出五种底座的 F1、训练耗时与推理速度对比,并附校准前后和云端复核的实测数据,选型依据可直接参考。