内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
作者开源了 AgenticInvestingEngine，一个针对 Borsa İstanbul 的多智能体研究系统，由一个 supervisor 智能体调度技术面、新闻风险、土耳其宏观和公司公告四个专项智能体并撰写报告。系统通过 MCP 对外提供八个工具，Claude Desktop 和 Cursor 可直接调用；防护措施包括对第三方文本的英文和土耳其语注入筛查、报告数值与工具数据的核对及免责声明，测试中检出全部 19 个攻击样本、误报 12 条正常句子中的 0 条。每次完整分析约 15,800 tokens、11 次 LLM 调用，支持 Groq 或本地 Ollama，采用 MIT 许可，仅供研究教育用途。
推荐理由：这个多智能体投研引擎给出了注入筛查、数值溯源和红队评测的具体数据，对想做带防护的 Agent 系统的人有可借鉴的工程做法。
作者开源了 nl-database-agent，用自然语言查询 Postgres，Agent 生成 SQL 后以只读事务执行，失败自动重试最多 3 次，并给出解释、表格和图表，演示地址 nl-database-agent.vercel.app。安全上采用静态 SQL 守卫、READ ONLY 事务和只读角色三层独立防护，拒绝改写数据并在 schema 无法回答时明确拒绝而非编造。评测基于 43 题黄金数据集，按执行结果集而非 SQL 文本判分；作者实测发现 Llama 3.3 在拒绝类问题上仅得 2/5 而 Gemini 得 5/5，因此 CI 门禁改为与应用同模型。
推荐理由：这个开源自然语言数据库 Agent 展示了三层只读安全设计，以及用结果集对比替代 LLM 评审的确定性评测方法，可直接迁移。
Bitfloo 发布 Mailoo，一个 IMAP/SMTP/ManageSieve 的 MCP 服务器，是 email-mcp 的 LGPL-3.0 公开 fork，通过 MCP 协议暴露 56 个工具、7 个 prompts 和 6 个 resources，支持多账户读写、搜索、发送、定时邮件和分析。功能包括 OAuth2（Gmail/M365，实验性）、IMAP IDLE 实时 watcher 加 AI 分拣预设、静态规则、桌面/webhook 告警、ICS 日历提取、发送限速默认每账户每分钟 10 封；支持 npx、Docker（ghcr.io/bitfloo/mailoo）安装，配置位于 ~/.config/mailoo/config.toml。
推荐理由：README 给出完整的安装、配置和安全边界说明，读者可以直接评估这个多邮箱 MCP 服务器是否适合自己的 AI 助手工作流。
gawk-dev 发布开源工具 mcpgawk，读取 Agent 可达的 MCP 服务器，将每次调用与已批准的基线比对，拦截批准后悄悄变更的工具，全程本地运行、不上传数据。工具提供 pre-execution 拦截（约 10ms 本地决策，支持 21 个客户端中的 6 个）、沙箱实测工具行为（数据外传、SSRF、tool poisoning）、token 成本索引和完整性哈希追踪；另有付费的 mcpgawk Platform 提供 enforce 与 monitor，CLI 可通过 uv 或 pipx 安装，支持 GitHub Action CI 门禁，采用 Apache-2.0 协议。
推荐理由：针对 MCP 服务器批准后悄悄改工具的 rug-pull 问题，给出了本地拦截、沙箱实测和零外传的具体做法，方法可直接迁移。
Ayush Maheshwari 在 GitHub 开源 SupOps，一个不只给建议、还能 SSH 到服务器实际执行检查与修复的 AI 运维工具，Docker 一条命令即可部署。核心是五阶段风险引擎：任何模型读到的文本都只能提高而不能降低风险等级，因此提示注入最多带来更多审批提示；只读检查自动执行，中高风险暂停等待人工审批，禁止操作永不运行。支持 Kubernetes 集群目标、Prometheus/Grafana 等可观测性接入、告警自动只读诊断、Advisory 模式和知识库导入，采用 Apache License 2.0。
推荐理由：原文完整披露了五阶段单调风险引擎的设计，模型读到的内容无法降低风险等级，对理解运维智能体的防注入思路有参考价值。
CrowdStrike 报告称，上周韩国部分最大型银行遭到的网络攻击可能由单人实施，攻击者组合使用了开源 AI 渗透工具 ARTEX 以及 DeepSeek v4.1-Flash、GLM-5.3、Grok 4.6 和 Claude Code。帖子转发自 Andrew Curran 与 Jukan 在 X 上的讨论，并附 CrowdStrike 报告链接。
推荐理由：材料引用 CrowdStrike 报告还原事件全貌，可以看出开源渗透工具与多个商用模型组合在真实攻击中的用法。
GitHub 项目 mcocdaa/StatLLM 开源了一套黑盒大模型统计指纹识别与归因系统，用于检测商业 API 或换皮服务中的模型偷换、静默量化降配和虚假底座宣传。方法上通过随机数、颜色、石头剪刀布、字母分布等标准化微观探针采样，结合 Dirichlet 平滑的联合对数似然、95% Bootstrap 置信区间（B=800 次重采样）、加权众包频次更新和 2D PCA 聚类投影判定模型归属。项目提供 CLI、FastAPI Web 端、Docker 一键部署，内置 GPT-4o、Claude 3.5、DeepSeek-V3、Gemini 2.0、Qwen 2.5 仿真样本体验，遵循 MIT License。
推荐理由：原文给出了黑盒大模型指纹识别的完整统计方法与探针设计，读者可以据此复用这套验证 API 底座是否被偷换的流程。
fwerkor 发布 local-shell-mcp，为 ChatGPT Developer Mode 等 MCP 客户端提供容器化受控执行环境，涵盖 shell、持久会话、文件系统、Playwright 浏览器自动化、桌面 GUI 控制、远程 worker 和 Agent Skills。安全边界是容器或 VM 而非宿主机，默认启用 OAuth 2.1、审计日志、命令超时和密钥扫描；支持 Docker、VS Code 扩展、二进制和 Python 运行时，并提供 DeepSeek Harness 插件。项目地址 https://github.com/fwerkor/local-shell-mcp。
推荐理由：原文完整列出了工具面、安全边界和部署步骤，读者可以直接评估它是否适合给 MCP 客户端接一个受控执行环境。
Avazbek Olimov 发布 DevProjex，可将任意代码库转换为干净的 AI 上下文，提供 GUI、TUI、CLI 和内置 MCP 服务器四种方式，获 Avalonia UI 团队 App Showcase 入选。工具支持导出 ASCII、Markdown、JSON、XML，或导出应用同样过滤规则的文件夹/ZIP 副本；基于 Tree-sitter 的代码压缩在自身 619 个 C# 文件上把上下文从 5.4 MB 压到 1.7 MB，约缩小 3 倍。
推荐理由：这是开发者自己发布的工具，原文讲清了代码压缩、密钥掩码和 MCP 安全边界的具体实现，方法可以迁移到自己的 AI 上下文工作流。
KongFangXun 在 GitHub 开源 sofagent v1.5.7（2026-10-08 发版），定位为嵌在 DSH / OpenClaw / WorkBuddy 等 Agent 与模型层之间的 FDE Harness 治理层，进场把业务判断写成文件，离场按文件审计每次变更。包含 28 条审计规则（22 条基于 git diff）、104 个 MCP tool、快照回滚与 HMAC 举证链，支持 npx 零配置试用（审计约 1.1s）；按宿主分四档挂载，仅 DSH/OpenClaw 可逐工具调用硬拦截，其余为建议性注入加 git hook 兜底，且默认非 fail-closed，--no-verify 可跳过前两层防线。
推荐理由：开源 Agent 治理层项目自述，给出了挂载档位、规则数和绕过边界等具体设计细节，可了解给数字员工做审计与回滚的一种工程思路。
开发者 Abin-Biju-Offl 在 GitHub 发布 Probagent，一个测试 LLM Agent 及其数据的工具，首期功能是数据质量检查器。它支持上传 CSV 或从 REST API 拉取 JSON（401/403 时可通过 JWT 重试），按 JSON 规则集逐行检查，也可从样本 CSV 自动生成规则；演示数据中检出 13 个问题。其 data guard 可接入 LangGraph ToolNode，在数据到达模型前按 block/warn/filter 策略处理坏数据，模型只能看到问题计数和列名而非原始值以防提示词注入，检查结果写入运行日志并可用 probagent explain 查询。限制为单文件 10 MB、50000 行、200 列。
推荐理由：这是一个可直接部署的开源数据质量检查工具，还提供 LangGraph 集成，能在脏数据进入模型前自动拦截。
GitHub 用户 unbelievablejohn 发布 haa-llm-securitypro 原型，让模型在生成答案前先输出置信分，低分直接拒答，高分答案再由异厂商模型（智谱 GLM 主答、DeepSeek 验证）独立核对并做程序层实体比对。在 54 条自建样本上，验证层把 confident-wrong 从 7 条降到 1 条，减少 86%，过度拒答保持 1 条未增加。项目还给出置信分实为非连续刻度（30 到 88 之间无样本）、智谱 GLM 置信分波动是 DeepSeek 的 9 倍、ECE 达 33.1%、20 条 Red Team 对抗用例被攻破率 10%、以及 790 题 TruthfulQA 外部验证等结果，并附完整代码与各评测报告。
推荐理由：项目用对照实验和重复测量量化了模型自报置信分的失真，验证层对高置信错误的削减有数据支撑，方法可迁移到自建检索或作答流水线。
josephniel 在 GitHub 开源了 majordomo，一个运行在 Telegram 的自托管 AI 助手框架，可接 Gemini、Claude、GPT、Groq、DeepSeek 或经 Ollama 的本地模型。框架不信任模型声称的动作，会检测未兑现的工具调用并给出纠正提示；所有写入操作需人工 Approve/Deny 确认，默认拒绝无人值守自动批准。检索采用全文加 pgvector 混合方案，附带评测工具，当前成绩为 recall@4 100%、MRR 0.975、false-injection 0%。项目以 MIT 许可发布，文档提示 prompt injection 是核心威胁模型，不提供可执行技能和市场。
推荐理由：作者围绕模型不可信这一前提设计了验证与审批机制，并给出可复现的召回评测数字，适合关注 Agent 可靠性工程的读者参考。
Quodeq 是一个 MIT 协议的开源本地代码审计工具，用 AI 从安全、可靠性、可维护性、性能、灵活性、可用性六个 ISO 25010 维度扫描代码库，每条发现映射 CWE 标识并给出违规行号和修复计划。支持 Ollama、llama.cpp 本地模型和 Claude Code、Codex CLI、Gemini CLI、GitHub Copilot CLI 等云端 Agent，无账号、无遥测，结果以 JSON 存在本地，并可导出 SARIF 2.1.0 上传 GitHub code scanning。
推荐理由：原文完整给出了安装、模型配置和评分机制的细节，读者可以据此在本地跑通这套开源代码审计工具。
OpenA2A 开源了 Secretless，一个防止 AI 编码工具读到 API 密钥的 CLI 工具，当前版本 v0.23.1，采用 Apache 2.0 协议。它扫描项目中的硬编码凭据（57 种模式）并迁移到 OS keychain、1Password、HashiCorp Vault、GCP Secret Manager 或 AES-256-GCM 加密文件；对 Claude Code 通过 PreToolUse 钩子和 18 条 deny 规则拦截读取凭据文件的工具调用，Cursor、GitHub Copilot、Windsurf、Cline、Aider 则仅靠指令文件约束。
推荐理由：工具README讲清了钩子门控与输出检查两类防护的边界，连防不住的暴露通道也明说，适合评估AI编码工具的密钥防护方案。
作者开源了 agentic-devflow，一个半自主开发智能体框架，可做 issue 分诊、把 Jira 工单变成带测试的 PR、审查 diff 和更新文档，用 n8n 处理触发与人工审批、MCP 提供工具，模型可用 Claude 或通过 Ollama 自托管的开源权重模型。核心是风险分级策略：工具按 read/write/publish/critical 四级分类，超过 autonomy 上限的操作会暂停等待人工批准，合并永远需要人确认，未分类工具默认按 critical 处理。
推荐理由：开源的半自主开发智能体框架，作者用7B模型实测了注入防御规则开关的前后差异，policy设计细节可直接借鉴。
burakkaygusuz 在 GitHub 发布 Clastogen，一个 pytest 插件，通过删除规则、把 never 改为 always、把 must 弱化为 should、数字乘 10 等方式向系统提示词注入小故障，再重跑评测测试，检验测试能否发现这些缺陷，并输出 Mutation Score。插件用 SPRT 序贯检验在结果明确时提前停止，节省 API 调用，配合 10 次 Laplace 基线运行过滤 flaky 测试；demo 显示两个常规通过的测试只捕获 5 个突变体中的 3 个（得分 60%）。仓库见 https://github.com/burakkaygusuz/clastogen ，MIT 许可。
推荐理由：作者给出了用突变测试检验 LLM 评测是否真的能发现提示词缺陷的可复用方法，含 SPRT 省调用的设计与实测示例。
tgockel 开源了 outrig，在宿主机运行基于 Rig 的 LLM 智能体，并把 filesystem、shell 等 MCP 服务器放进 podman 容器内实现工具沙箱隔离。用户在仓库中用 Dockerfile 和 .agents/outrig/config.toml 定义沙箱，运行 outrig run 进入 stdin/stdout REPL 与智能体对话；支持 Linux x86-64 与 AArch64，WSL2 可用，macOS 和原生 Windows 不支持，采用 Apache License 2.0。
推荐理由：原文给出了沙箱配置文件结构和 CLI 用法，读者可以照着把 MCP 工具隔离进 podman 容器里复现。
开发者 joymin5655 开源了 Agent v0.6.0（MIT 协议），一个跨厂商的 AI 编码 agent 安全 harness，核心是把拒绝密钥访问、拦截破坏性命令、核对 done 声明等约束做成工具边界的机器闸门而非提示词措辞，核心规则写一次即可同时覆盖 Claude Code、Codex CLI 和 Antigravity CLI。完成核验采用 refute-by-default，低置信或判官崩溃一律判 REFUTED；98 个自检脚本由 CI 运行，docs/reality 测试保证文档与仓库一致。8 个植入 bug 的盲测中其双 agent 组合检出 8/8、0 误报，对比栈 oh-my-claudecode 同为 8/8 但有 1 个含糊误报，作者自评为接近打平。
推荐理由：这个 harness 把完成声明核验、密钥拦截等做成工具边界的机器闸门而非提示词约束，其跨厂商同事件同决策的实测设计可借鉴。
hannsxpeter 在 GitHub 发布 voiceprint，一个单一入口的 prose 真实性工具，将 humanizer（改写 AI 味文本）与 authenticity-check（只读诊断评分）按固定顺序各执行一次，不做迭代优化循环。工具包含无依赖的 scripts/text_hygiene.py，做确定性 Unicode 清理，按 Unicode Emoji 17.0 数据固定表保留 emoji 序列；policy 2（自 voiceprint 1.5.0 起）修复了 policy 1 曾破坏 40 个 basic emoji、全部 12 个 keycap 等序列的问题。
推荐理由：原文讲清了一次性组合诊断与改写的流程设计和 Unicode 清理的确定性边界，读者可以评估这套 prose 工具的适用范围。