跳到正文
10月9日周五
  1. GitHub · 灵魂体仓库64

    LLM 多 agent 自主渗透系统 velric 开源,采用 Go 单体加 Postgres 双图架构

    ikooky 在 GitHub 开源了 velric,一套 LLM 多 agent 驱动的自主渗透系统,Go 单体后端内嵌 Next.js 前端,依赖 PostgreSQL,当前版本 v0.3.3。核心是探索图与资产图的双图架构,planner 按多轮共享 todolist 逐步派意图、worker 领意图用真实工具执行并写回,支持 worker 间过程级信息交换、漏洞复测 Agent、一键更新与自动回滚,提供 Docker、二进制和源码编译等五种安装方式。项目采用 AGPL-3.0 协议,作者声明仅供本地学习研究,禁止对任何线上系统发起实际测试。

    推荐理由:原文完整给出了安装、更新、回滚与双图架构设计,读者可据此评估这套 LLM 多 agent 渗透系统的可部署性与自主推进机制。

  2. GitHub · 灵魂体仓库56

    secure-voice-agent 开源:带确定性安全防护层的电话 AI Agent

    coreymathie 开源 secure-voice-agent,一个可接听电话、收款并写入业务系统的语音 AI Agent,在模型与所有工具之间放置确定性防护层:默认拒绝的允许列表、社工风险评分、向档案号码发送一次性码的 step-up 验证、限速、PII 清洗、哈希链审计日志和幂等签名请求。技术栈为 Pipecat 1.x、Twilio Media Streams、OpenAI Realtime(或 Claude+Deepgram+ElevenLabs、Gemini Live)、AWS Lambda 与 Fly.io。

    推荐理由:原文把每个安全控制的代码位置、对应测试和失败模式都列了出来,读者可以直接复用这套在模型外做确定性防护的方法。

  3. GitHub · 灵魂体仓库38

    GrizzDog-AI:Butler 社区学院的 LLM 安全教学实验项目

    Butler 社区学院(Andover 校区)网络防御教师开发的 GrizzDog-AI 是一个独立学术研究与教学用的 LLM 安全实验沙箱,2026 年 10 月更新后全部 27 个基准攻击向量已映射到 OWASP LLM01–LLM07 与 MITRE ATLAS AML.T0051–AML.T0057,并对齐 NSA/DHS CAE-CD 课程知识单元。项目围绕 4 个校园角色(机器犬哨兵、助教、Canvas 评分器、注册主任)提供 6 类红队任务和 4 级难度递进的防护版本,新增 `batch_grade.py` Canvas 批量评分器(含 HMAC-SHA256 签名校验)与一次构建全部 18 个模型的 `build_models.py`。

  4. GitHub · 去对齐工具与仓库9

    What-Is-RAG:一个帮助理解检索增强生成(RAG)的 Windows 学习工具

    GitHub 上的 What-Is-RAG 是一款免费的 Windows 学习应用,用于演示检索增强生成(RAG)如何从数据库检索信息再生成回答。它要求 Windows 10/11、8GB 以上内存和 500MB 空间,支持上传个人文档到 "Source" 文件夹建立索引,并提供概念定义、代码实现和可视化检索三类界面。软件完全本地运行、不向外部服务器发送文档,仅首次启动需联网验证文件。

  5. GitHub · 去对齐工具与仓库7

    llm-install-2026:在 Windows 本地离线运行大语言模型的安装教程

    llm-install-2026 是一款可在 Windows 10/11 上本地运行大语言模型的离线应用,要求至少 8 GB 内存、10 GB 存储空间,配备 6 GB 显存的 NVIDIA GPU 可显著提速。软件支持 Llama、DeepSeek、Qwen、Gemma 四种模型,首次选用时需联网下载,之后完全离线运行、数据不出本机。它还集成 Whisper 语音转文字和 Open WebUI 浏览器界面。

  6. GitHub · 去对齐工具与仓库71

    Thyra-AI 开源 llm-env-vault:用 MCP 服务器将 .env 密钥隔离在 AI 编程智能体之外

    Thyra-AI 在 GitHub 发布 llm-env-vault,一个 MCP 服务器,把 .env 文件中的真实密钥替换为编号占位符并存入密码加密的本地保险库。AI 智能体只能读到占位符;运行真实命令时通过智能体无法操作的 GUI 密码对话框授权注入。v2 格式采用 scrypt 密钥派生与 AES-256-GCM,支持纸面恢复密钥、8 小时可信命令缓存和 .levault 整文件加密,可作 Claude Code 插件安装。作者明确了威胁模型边界:不防护已持有主密码或可驱动 GUI 的智能体,加密后原文件的删除是尽力而为,离线攻击 vault.enc 的强度取决于密码长度。Windows 是受测平台,macOS/Linux 需 PATH 上有 python。

    推荐理由:原文详细说明了占位符替换、加密格式和威胁模型的边界,读者可以据此评估这个把 .env 密钥隔离在 AI 编程智能体之外的方案是否适用。

  7. GitHub · 去对齐工具与仓库46

    LLM-Safety-Guardrail-API:面向 LLM 应用的安全防护网关微服务

    开源项目 LLM-Safety-Guardrail-API 是一个异步 FastAPI 微服务,在上游 LLM 推理前检查输入,提供 prompt injection 与越狱正则检测、PII 自动脱敏和可配置 strict mode。基于预编译 regex 实现低于 5ms 延迟(示例请求 latency_ms 为 1.42),支持本地 uvicorn 运行和 Docker 部署,并暴露 POST /v1/guard/inspect 接口。

  8. GitHub · 去对齐工具与仓库19

    telegram-cli:将 AI 智能体连接到 Telegram 的开源工具

    开源工具 telegram-cli 可将 Telegram 账号接入 Claude Code、Cursor、GitHub Copilot、Grok、Codex 等 AI 智能体,让智能体读取消息并以 JSON 结构化数据(含发送者、时间戳、内容和媒体链接)自动回复。它支持 Windows 10/11,需 200MB 磁盘空间,凭据本地存储,并可将消息发送至用户选定的 AI 服务。

  9. GitHub · 去对齐工具与仓库66

    knowyourai 开源:一条命令核查本地模型文件是否与模型卡声明一致

    GitHub 用户 ppradyoth 发布开源工具 knowyourai,通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致,用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型,不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则,支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库,其中 61 个(48%)的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段,仓库地址为 https://github.com/ppradyoth/knowyourai。

    推荐理由:工具只读文件头不运行模型,还给出了对下载量前 200 的 GGUF 仓库的模板差异实测,方法可复用。

  10. GitHub · 去对齐工具与仓库62

    Niyam-AI 开源:为自主 LLM 智能体工具调用提供可密码学验证的护栏

    GitHub 仓库 Addyk-24/Niyam-AI 发布,为 LLM 智能体的每次工具调用附加 zk-SNARK 证明,第三方约 50.7 ms 即可验证且无需模型权重。在 Agent-SafetyBench 2,000 个场景的 5 折交叉验证中 F1 达 88.8%,高于 NeMo Guardrails(40.4%)、GPT-OSS-Safeguard-20B(46.2%)和 Llama Prompt Guard 2(66.8%),但作者注明 Judge 拟合了基准分布而基线为零样本;红队 18 个攻击向量修复后全部拦截,已知缺口是门控读取的 PyTorch 输出与被证明的电路输出尚未绑定,证明生成约 1.7 秒,适合低频高风险操作。

    推荐理由:仓库同时给出了与 NeMo Guardrails 等基线的 F1 对比、消融、红队结果和已知缺陷说明,便于读者评估 zk-SNARK 护栏的真实代价。

  11. GitHub · 灵魂体仓库53

    kkcyber2 开源 Bounty Machine 漏洞赏金工作流框架

    kkcyber2 在 GitHub 开源了 Bounty Machine(bountymode),一个授权优先的漏洞赏金工作流框架,不自己实现攻击,而是通过默认拒绝的授权门编排安全测试,输出可提交的 HackerOne / Bugcrowd 格式报告。框架内置 ai_llm(19 项技术,含 prompt injection、jailbreak、RAG poisoning 等)、web_api、cloud、cicd 四个域,支持真实 CVSS v3.1 打分、证据脱敏哈希链存储、N-of-M 复现验证、指纹去重,新增域只需写一个 adapter;默认 dry run,破坏性技术无条件拦截,需 Python 3.9+,核心零运行时依赖,MIT 许可。

10月8日周四
  1. GitHub · 去对齐工具与仓库56

    Wirken 发布面向企业 Agent 的安全网关开源仓库

    gebruder 在 GitHub 开源了 Wirken,一个面向自主 Agent 的企业网关,以单个静态 Rust 二进制分发,MIT 许可。网关将 Telegram、Slack、Teams 等消息渠道接入 Agent,核心假设 Agent 本身不可信:凭据保存在加密 vault 中不进入模型上下文,每个动作执行前写入哈希链审计日志,默认最低权限,shell 命令在无网络的临时容器沙箱中运行,且按 Agent 设置支出预算。模型连接不绑定厂商,可接 frontier API、Ollama 本地权重或欧盟托管端点。README 明确列出已知局限,包括出口流量未完全隔离、沙箱可关闭、注入检测只标记不拦截、权限按 Agent 而非按用户生效等。

    推荐理由:该仓库写明了权限模型、沙箱与审计的实现边界,并列出逃逸开关和已知局限,方便读者评估这类企业 Agent 网关的适用场景。

  2. GitHub · 灵魂体仓库30

    JP-BX/AI-LLM-Security-Testing-Lab:基于 Qwen3:8B 的提示词注入攻防实验项目

    一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot,并开发提示词注入检测层,通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例,覆盖良性提示、误报和检测绕过尝试,最终全部通过,在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词,基于关键词的过滤是教学原型,不能替代生产级 LLM 安全防护。

  3. GitHub · 去对齐工具与仓库41

    agent-mesh-demo:用 Solo 版 Istio 演示 AI Agent 认证后的授权控制

    GitHub 上的 agent-mesh-demo 项目展示服务网格如何补足 AI Agent 认证之后的授权问题,包括可调用哪些工具、代表谁、经哪些 Agent、模型 token 预算和可发给模型的数据。Demo 基于 Solo 版 Istio ambient 模式运行,Solo Enterprise for agentgateway 作为同一控制平面上的 waypoint,无 sidecar、Agent 内无安全代码。

  4. GitHub · 去对齐工具与仓库62

    Cordon 开源:本地大语言模型保密推理控制平面

    regnant-io 在 GitHub 开源了 Cordon,一个部署在本地模型运行时之前的保密推理控制平面,提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行,支持 light 到全气隙 dark 共五种部署模式;README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分(如 SGX-DCAP、证书吊销)以及有意保留的弱点。

    推荐理由:原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点,读者可以据此评估它是否适合自己的保密推理部署。

  5. GitHub · 去对齐工具与仓库46

    面试助手 interview-assistant:AI 实时转录并生成面试、口语考试回答

    GitHub 开源项目 interview-assistant 基于 interview-coder-cn 二次开发,面向口语面试与在线考试场景,通过百炼 ASR 实时转录系统音频,并自动生成流式口语回答。它内置 ELLT 口语和技术面试两套可配置阶段预设,支持截图内容识别、自动语音模式和命令模式,窗口对屏幕分享软件隐身。语音转录使用 Fun-ASR 模型,约 0.02 元/分钟,新用户有 10 小时免费额度,项目采用 CC BY-NC 4.0 协议,禁止商用。

  6. GitHub · 灵魂体仓库42

    scadastrangelove/awesome-ai-security-tools:AI 安全与 AI 辅助网络安全工具精选清单

    GitHub 仓库 scadastrangelove/awesome-ai-security-tools 收录了 AI 安全与 AI 辅助网络安全领域的开源、研究和商业工具,覆盖安全发现自动分诊、AI Agent 安全、AI/ML 供应链、渗透测试 Agent、AI SAST、LLM 红队测试及 SOC/SIEM 分诊等类别。清单用 🟢🔬🟠⚠️ 标注许可证状态,并提供脚本刷新 GitHub star 数据,最近一次刷新为 2026-10-08。收录项目包括 Arm 的 Metis、腾讯朱雀实验室的 AI-Infra-Graf(★ 6,789)等。

  7. GitHub · 去对齐工具与仓库31

    mchx-cs/agentic-llm-redteam:基于 Agent 的 LLM 渗透测试框架 Phase 0 骨架

    GitHub 仓库 mchx-cs/agentic-llm-redteam 发布 LLM 渗透测试自动化框架的 Phase 0 骨架,仅搭建攻击者→目标→裁判的本地循环,不含真实攻击,预期每次判定为"NON"。项目 100% 本地免费运行,通过 Ollama 拉取 llama3.2,所有 LLM 调用统一走 `demander_au_llm()` 抽象层,改一行 `PROFIL_ACTIF = "api"` 即可切换到 API。后续计划加入 prompt injection、jailbreak 等真实攻击族,并集成 garak 与 PyRIT。

  8. GitHub · 灵魂体仓库65

    duki-core/llm-output-guard 开源:面向本地 LLM 应用的轻量输出防护库

    duki-core 在 GitHub 发布 llm-output-guard,一个厂商无关的轻量库,针对本地/自托管 LLM 应用的四类安全问题:系统提示词泄漏、文本标记与结构化 tool call 的未授权动作执行、以及经 RAG 内容的间接提示词注入。库内含 PromptLeakGuard 三层检测(字符串匹配、嵌入相似度、LLM judge)、ActionGate 用户确认门控、context_guard 输入清洗和 ToolCallGuard 结构化调用校验,作者从基于 LM Studio 的本地聊天伴侣项目中抽出,MIT 许可,并明确说明这是启发式纵深防御而非正式安全保证,流式与 async 支持尚未实现。

    推荐理由:这个开源库把系统提示词泄漏、幻觉动作执行和间接注入拆成四类问题,并诚实列出了每层防御的失效条件,方法可直接迁移到本地 LLM 应用。

  9. Reddit · r/LocalLLaMA64

    192 次本地实测:即使表现良好的模型也不应自行授权工具调用,作者发布 CLIM Agent Guard

    作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b(Q4_K_M)各跑 96 次,共 192 次 live 测试,验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证,无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审,只对照宿主状态检查工具调用的授权、目标和重复提交。

    推荐理由:作者用 192 次本地实测给出确定性行为守卫的前后对照数据,还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异,可作工程参考。

  10. GitHub · 灵魂体仓库55

    llm-security-check:只读扫描器检测 AI 应用中的密钥泄露与 LLM 架构错误

    safia-habib 在 GitHub 开源 llm-security-check,一个只读、被动的 Web 扫描器,用通俗英文报告 AI 应用的 LLM 相关安全问题:JS 包、.env、source map 中的 OpenAI、Anthropic、Google Gemini、Groq、AWS 等提供商密钥,客户端代码中的 JWT,浏览器直连提供商 API,前端暴露 system prompt,CORS 配置过宽等。每项发现附带风险说明、攻击场景和修复步骤。工具只发 GET 和 HEAD 请求,不测试密钥有效性、不运行无头浏览器、不扫描需登录的页面,报告仅在内存中保留最多 30 分钟,支持 Docker 和 Fly.io 部署,采用 MIT 许可。

    推荐理由:原文明确了工具的检测范围和刻意保留的局限,读者可据此判断它适合放进什么样的自查流程。

  11. GitHub · 灵魂体仓库59

    LLM-Agent-Firewall-MAPI-6K 仓库发布可复现的多智能体提示词注入检测实现

    sushant-me 在 GitHub 发布了论文《LLM Agent Firewall》的可复现实现,包含 6,000 条确定性智能体间消息语料、亚毫秒级 TF-IDF + 逻辑回归分类器,以及置信度校准的两层路由,仅升级不确定流量给语义判官。在 CPU 上约一分钟跑完全部核心结果,无需 GPU、API 密钥或网络。实测 Strata I+II held-out 准确率 1.000、0 误报 0 漏检,分类器平均延迟 0.333 ms,5% 隐蔽攻击占比下混合延迟 271.5 ms(比全部走判官快 19.9 倍)。

    推荐理由:作者复现了论文的多智能体提示词注入防火墙方法,还披露了语料格式混淆这类基准设计陷阱,做法对自建评测的人有参考价值。

  12. GitHub · 灵魂体仓库51

    monkeyleash:面向 AI 编码代理的治理工作流开源

    作者开源 monkeyleash,一套让不会逐行读代码的人监督 AI 编码代理的治理工作流,前身是 agent-gates。核心思路是提示词只是建议、文件和 hook 才是约束:仓库含 9 条规则(R1–R9)加用户级 G1、 outpost 与 pre-commit 双层执行、六站主管线、带哈希链的账本、只读 MCP 服务器和 148 条摩擦日志(编号至 F-159)。作者明确说明仅在 Windows 上用 Claude Code 自测过,1313 项本地测试通过,尚未有外部使用者验证。

  13. GitHub · 去对齐工具与仓库63

    mcpgawk 开源:本地拦截 MCP 服务器批准后变更工具的安全网关

    gawk-dev 发布开源工具 mcpgawk,读取 Agent 可达的 MCP 服务器,将每次调用与已批准的基线比对,拦截批准后悄悄变更的工具,全程本地运行、不上传数据。工具提供 pre-execution 拦截(约 10ms 本地决策,支持 21 个客户端中的 6 个)、沙箱实测工具行为(数据外传、SSRF、tool poisoning)、token 成本索引和完整性哈希追踪;另有付费的 mcpgawk Platform 提供 enforce 与 monitor,CLI 可通过 uv 或 pipx 安装,支持 GitHub Action CI 门禁,采用 Apache-2.0 协议。

    推荐理由:针对 MCP 服务器批准后悄悄改工具的 rug-pull 问题,给出了本地拦截、沙箱实测和零外传的具体做法,方法可直接迁移。

  14. GitHub · 灵魂体仓库52

    PolicyLens 开源:AWS IAM 变更审查工具 MatthewPaver/iam-policy-auditor

    作者发布 PolicyLens(MatthewPaver/iam-policy-auditor),用确定性引擎审查 AWS IAM policy 变更,判断指定敏感操作是否从拒绝变为可允许,并给出触发该结论的语句行号,判定结果为 stop、needs context 或 pass。工具可对候选修复做双向验证,要求风险关闭且必需访问保留;可选 Claude 解释层通过 grounding gate 校验引用后才展示。零运行时依赖,克隆即可本地运行,附带 118 项测试、55 个回归用例及与 AWS iam:SimulateCustomPolicy 对比的独立校验脚本;变更审查和条件求值仅支持 AWS,其他云平台只做解析和规则检查。

  15. Reddit · r/LocalLLaMA61

    CrowdStrike 称韩国大型银行网络攻击或由一人借 ARTEX 与多模型组合完成

    CrowdStrike 报告称,上周韩国部分最大型银行遭到的网络攻击可能由单人实施,攻击者组合使用了开源 AI 渗透工具 ARTEX 以及 DeepSeek v4.1-Flash、GLM-5.3、Grok 4.6 和 Claude Code。帖子转发自 Andrew Curran 与 Jukan 在 X 上的讨论,并附 CrowdStrike 报告链接。

    推荐理由:材料引用 CrowdStrike 报告还原事件全貌,可以看出开源渗透工具与多个商用模型组合在真实攻击中的用法。

  16. GitHub · 去对齐工具与仓库13

    freebuff-proxy:GitHub 上的 OpenAI 兼容 AI 服务代理网关

    GitHub 仓库 freebuff-proxy 是一个本地代理程序,在用户与 AI 服务之间转发 OpenAI 兼容连接,声称提供私有高速通道。它采用 uTLS JA3 隐蔽技术、多 Token 池与按任务隔离的会话管理,双击即可运行,无需安装或注册。该工具面向注重隐私的 AI 用户,附带 Prometheus 指标和 9router 支持。

  17. GitHub · 去对齐工具与仓库7

    Unintelligence:轻松移除 Mac 上 Apple Intelligence 功能的开源工具

    Unintelligence 是一款面向 Mac 用户的工具,可关闭 Apple Intelligence 的 Siri 建议、主动辅助等后台功能,满足隐私、性能或控制方面的需求。它无需安装,通过 GitHub 发布(如 v1.0),用户在界面中勾选要禁用的功能后点击 "Apply" 即可执行。文章还介绍了在 Windows 10 及以上系统(至少 4 GB 内存、100 MB 磁盘空间)以测试方式运行该应用的步骤,此环境下仅模拟流程,不会真正更改系统设置。

  18. GitHub · 灵魂体仓库59

    StatLLM 开源:基于离散分布偏置与统计假说检验的黑盒大模型指纹归因工具

    GitHub 项目 mcocdaa/StatLLM 开源了一套黑盒大模型统计指纹识别与归因系统,用于检测商业 API 或换皮服务中的模型偷换、静默量化降配和虚假底座宣传。方法上通过随机数、颜色、石头剪刀布、字母分布等标准化微观探针采样,结合 Dirichlet 平滑的联合对数似然、95% Bootstrap 置信区间(B=800 次重采样)、加权众包频次更新和 2D PCA 聚类投影判定模型归属。项目提供 CLI、FastAPI Web 端、Docker 一键部署,内置 GPT-4o、Claude 3.5、DeepSeek-V3、Gemini 2.0、Qwen 2.5 仿真样本体验,遵循 MIT License。

    推荐理由:原文给出了黑盒大模型指纹识别的完整统计方法与探针设计,读者可以据此复用这套验证 API 底座是否被偷换的流程。

  19. GitHub · 灵魂体仓库61

    haa-llm-securitypro 开源:让大模型在作答前先做置信评估以抑制高置信错误

    GitHub 用户 unbelievablejohn 发布 haa-llm-securitypro 原型,让模型在生成答案前先输出置信分,低分直接拒答,高分答案再由异厂商模型(智谱 GLM 主答、DeepSeek 验证)独立核对并做程序层实体比对。在 54 条自建样本上,验证层把 confident-wrong 从 7 条降到 1 条,减少 86%,过度拒答保持 1 条未增加。项目还给出置信分实为非连续刻度(30 到 88 之间无样本)、智谱 GLM 置信分波动是 DeepSeek 的 9 倍、ECE 达 33.1%、20 条 Red Team 对抗用例被攻破率 10%、以及 790 题 TruthfulQA 外部验证等结果,并附完整代码与各评测报告。

    推荐理由:项目用对照实验和重复测量量化了模型自报置信分的失真,验证层对高置信错误的削减有数据支撑,方法可迁移到自建检索或作答流水线。

  20. GitHub · 灵魂体仓库63

    Secretless v0.23.1 开源:让 API 密钥对 Claude Code、Cursor 等 AI 编码工具不可见

    OpenA2A 开源了 Secretless,一个防止 AI 编码工具读到 API 密钥的 CLI 工具,当前版本 v0.23.1,采用 Apache 2.0 协议。它扫描项目中的硬编码凭据(57 种模式)并迁移到 OS keychain、1Password、HashiCorp Vault、GCP Secret Manager 或 AES-256-GCM 加密文件;对 Claude Code 通过 PreToolUse 钩子和 18 条 deny 规则拦截读取凭据文件的工具调用,Cursor、GitHub Copilot、Windsurf、Cline、Aider 则仅靠指令文件约束。

    推荐理由:工具README讲清了钩子门控与输出检查两类防护的边界,连防不住的暴露通道也明说,适合评估AI编码工具的密钥防护方案。

  21. GitHub · 灵魂体仓库36

    BreakBot:LLM 智能体驱动的 Web 应用业务逻辑安全测试工具

    BreakBot 是一个面向独立开发者和小团队的工作流感知型 Web 应用安全与 QA 测试工具,通过 DNS TXT 或 /.well-known/ 文件验证目标站所有权后,用 Playwright 爬取站点并分层执行功能 fuzzing、API 健壮性测试和非破坏性安全检查。其核心差异点是 LLM 智能体驱动的多步、有状态"业务逻辑"攻击链,能发现单请求扫描器找不到的漏洞,每项发现附带可复现的 proof-of-exploit 和可重放的 curl 命令。

  22. GitHub · 去对齐工具与仓库71

    abhirammv2000/agentic-devflow 开源半自主开发智能体框架,含风险分级审批与提示词注入防御

    作者开源了 agentic-devflow,一个半自主开发智能体框架,可做 issue 分诊、把 Jira 工单变成带测试的 PR、审查 diff 和更新文档,用 n8n 处理触发与人工审批、MCP 提供工具,模型可用 Claude 或通过 Ollama 自托管的开源权重模型。核心是风险分级策略:工具按 read/write/publish/critical 四级分类,超过 autonomy 上限的操作会暂停等待人工批准,合并永远需要人确认,未分类工具默认按 critical 处理。

    推荐理由:开源的半自主开发智能体框架,作者用7B模型实测了注入防御规则开关的前后差异,policy设计细节可直接借鉴。

  23. GitHub · 去对齐工具与仓库13

    GitHub 开源项目 Anthropic-Cybersecurity-Skills:817 个 AI 网络安全技能库

    GitHub 用户 anxious-phyllo879 发布 Anthropic-Cybersecurity-Skills 工具包,提供 817 个结构化网络安全技能,覆盖 MITRE ATT&CK、NIST CSF 2.0 等 6 大框架和 29 个安全领域,可配合 Claude Code、GitHub Copilot、Cursor 等 20+ 平台使用,采用 Apache 2.0 许可证。使用方式为下载 zip 并运行 start.exe,占用约 3.0MB 存储;需注意其要求下载可执行文件并在杀毒软件拦截时放行,建议谨慎核验来源。

  24. GitHub · 灵魂体仓库26

    LLM 红队安全评估:用 NVIDIA Garak 测试 Anthropic Claude 模型

    该项目使用 NVIDIA Garak v0.17.0 对 Anthropic Claude 3.5 Sonnet(claude-3-5-sonnet-20241022)进行红队安全评估,共执行 943 个攻击向量,耗时约 2 小时,发现 0 个漏洞,缓解成功率达 100%。测试覆盖自适应越狱(200 向量)、ANSI 转义序列、API Key 提取及 700+ 编码绕过与注入探测,并按 OWASP LLM Top 10 框架整理 FINDINGS.md 与 ANALYSIS.md 等文档,附带 parse_garak.py 等分析脚本供复现。

  25. arXiv · cs.CL43

    EASE:熵自适应分布塑形方法可绕过 AI 生成文本检测器

    研究者提出 EASE(Entropy-Adaptive Distribution Shaping),一种免训练、与检测器无关的绕过 AI 生成文本检测的框架。它直接从源 LLM 的 next-token 分布计算预测熵,自适应调整 logit 扰动和采样温度,无需检测器反馈或模型微调。在三个源 LLM 和多个检测器上的实验显示检测性能持续下降,文本质量和推理开销几乎不受影响。

  26. arXiv · cs.CL54

    arXiv 论文测量 LLM 路由元数据泄露敏感话题并提出缓解方法

    Teng-Ruei Chen 在 arXiv 发表论文,测量 LLM 路由器的路由选择日志如何在内容日志关闭时泄露敏感话题。基于 WildChat-1M 和 LMSYS-Chat-1M 共 170 万条真实请求的预注册研究,RouteLLM 在 50% 工作点下骚扰与自残请求被路由到强模型的比例低 19 个百分点,20 次路由决策区分频繁医疗提问者的 AUC 为 0.71;长度匹配的按类别 parity 可消除差距且在 RouterBench 上最多损失 0.2 个准确率点,而每会话 stickiness、每用户预算区间等方法失效。

    推荐理由:论文用预注册实验量化了 LLM 路由日志泄露敏感话题的程度,并测试了 defenses 的代价与失效方式。

  27. GitHub · 灵魂体仓库58

    shadow-ai-scan:单个 Python 文件扫描仓库中的未登记 AI 调用

    smartsequence 发布 shadow-ai-scan,一个单文件 Python 工具,扫描 repo 找出未登记的 AI 调用并按高、中、低三级给出处置对象。它通过代码中的 SDK 引用、设置文件里的 AI 服务网址和 sk-proj- 等固定前缀的金钥样式三处痕迹检测,不用安装依赖、离线运行,支持六种语言界面,可接 CI 拦截新增高风险提交;作者同时说明它是关键字比对而非深度分析,自封装调用和运行时才确定的套件名等四类情况扫不到。

    推荐理由:工具把检测思路、三级处置分流和自身盲区都写清楚了,读者可据此评估关键字扫描这类影子 AI 盘点方法的适用边界。

  28. arXiv · cs.CL34

    基于 NeMo-Guardrails 代理的 SIEM/XDR 受限动作 AI 修复方案

    一篇 arXiv 论文提出面向 SIEM/XDR 事件响应的受限动作架构:SIEM/XDR 控制平面将 LLM 输出限定在封闭意图词汇表中,由端点代理执行,并配参数校验器兜底;外层用 NeMo-Guardrails 代理包裹 SOC 分析师 LLM。开箱即用的护栏将注入攻击召回率从 25.0% 提升至 94.5%,误报率 0.1%;红队演练证实该设计可在命令跨越信任边界前遏制 LLM 失效模式。受限于护栏延迟,方案建议采用人机协同或延迟执行模式。