内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
Brotto 在 GitHub 开源，是一个 Chrome 扩展加自托管容器的浏览器智能体，用自然语言下达任务后在用户已登录的浏览器标签页中执行，不走云端浏览器。它读取页面无障碍树而非截图，发送邮件、支付、删除等不可逆操作前强制停下询问且无法关闭，每次运行在本地磁盘留下完整审计记录；页面文本离开前先脱敏，模型密钥不落盘，支持 Anthropic、OpenAI、Gemini、DeepSeek 等 8 家提供商自带密钥。目前仅支持 Chrome，无已发布基准，扩展正在 Chrome Web Store 审核中，Apache 2.0 开源。
推荐理由：浏览器智能体选择读无障碍树而非截图，并把不可逆操作前的确认和审计记录设计成不可关闭，安全取舍讲得具体。
GabrieleBosi 发布了面向虚构钢梁厂商 Ferralba Steel 的 linea 原型，把客户邮件到可执行订单拆成十三个步骤，其中四个 LLM 步骤带 schema、代码检查和人工审批，每条请求行分商业与技术两条状态轨。作者用 gemini-3.8-flash 跑了三轮评测，质量用例通过率最高 100%，攻击全部拦截，并复盘了两起判分与提示词导致的失败及修复。公共 demo 在浏览器内回放录制输出，无需注册和 API key。
推荐理由：作者把报价流程拆成四步 LLM 步骤并配对抗评测，还复盘了两处判分与提示词的失败细节，方法可迁移。
alghanim 在 GitHub 发布 universal-db-mcp，这是一个 MCP 服务器，让 Claude Code、Cursor、VS Code 等 MCP 客户端以只读方式发现、剖析和查询声明的数据库，拒绝一切写入。每条语句先经方言解析只允许单条读取，敏感列按输出来源证明后才脱敏，所有调用写入审计日志，服务器不调用 LLM、无遥测、可完全离线运行。已验证 PostgreSQL 12-17、MySQL/MariaDB、ClickHouse、Oracle、SQL Server、Db2、SQLite 等引擎版本，提供 29 个 db_* 工具，通过 12000 多个单元测试，支持 .deb、.pkg、.msi 与容器镜像的离线部署，历经 2026-09/10 的生产安全评审。
推荐理由：原文完整给出了让 AI 智能体安全只读访问数据库的工程方案，含 SQL 守卫、脱敏与审计机制，可迁移到需要保护生产库的部署场景。
emmanuelgjr 在 GitHub 发布 genai_incidents 数据集，汇总 AIID、OECD AIM、AIAAIC、MITRE ATLAS、NVD/GHSA/OSV 等来源，收录 15,637 条事件（1,915 条 landmark 级），统一映射到 OWASP LLM/ASI、NIST AI RMF、MITRE ATLAS 等分类学，可通过网站、Raw JSON、STIX/TAXII/MISP、PyPI、Hugging Face 获取。
推荐理由：把多个不共享 schema 的 AI 安全事件源统一映射到安全分类学，并明确标注启发式标签的局限，便于检索与引用。
OzAmram 在 GitHub 开源 psm-mixture-test 仓库，用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型，对 Persona Selection Model（Marks, Lindsey & Olah 2026）做定量检验，Qwen2.5-7B 系列作跨家族对照。
推荐理由：原文用固定的一对开源权重模型做了完整可复现的定量检验，给出了混合拟合误差、AUROC 和软前缀差距等具体数字。
Cygnux Labs 在 GitHub 开源 Tracekit，为 AI Agent 的每次工具调用提供防篡改审计记录。策略门在调用前决定 deny、ask 或 flag，独立签名者用 Ed25519 把事件写入仅追加的哈希链，checkpoint 发送到 witness，.tkb 包可离线验证，篡改、删除或重排都会导致验证失败。支持 Claude Code hooks、Codex CLI、Cursor、Gemini CLI、Python 与 TypeScript SDK、LangChain/LangGraph 和 MCP，Linux 系统模式下签名者以独立 OS 用户运行，macOS 支持 dev 和实验性系统模式，Windows 仅 dev 模式，MIT 许可。
推荐理由：给 AI Agent 的工具调用留下防篡改审计记录，策略门控、独立签名与哈希链的设计讲得具体，还坦白列出了盲区。
Abhishek-Gali 发布 Spigot（DocForge MCP）1.0，输入 Markdown、PDF、HTML 或 OpenAPI 3.0 文档即可生成可运行的 Python MCP 服务器包，全程离线运行，使用本地 Ollama 模型并带 STRICT_OFFLINE 网络守卫。系统将模型理解与代码生成分离，模型只提出需逐字引文验证的结构化事实，再由确定性编译器产出服务器，支持 read_only、approval_required 等运行时策略与 HMAC 审批。评测显示依赖保持工具包在 6/6 任务全成的同时把工具模式上下文缩减 65.56%， naive 工具子集则只有 66.7% 任务成功率；扫描版 PDF 会以 OCR_REQUIRED 失败闭合并拒绝静默处理。
推荐理由：仓库给出了完整的7层验证流程和配套评测数据，包括工具包把上下文缩减65.56%的分组对比，方法可借鉴。
Distiller Labs 在 GitHub 发布 DeepSteer，一套用于测量语言模型道德内容表征及其行为是否一致的 PyTorch 工具，Apache 2.0 协议，支持 pip install deepsteer。研究发现道德知识的低秩子空间在预训练中形成，后训练只做旋转；OLMo-3 的拒绝门是后训练构造，约四分之三因果输入在道德子空间之外；OLMo-3-7B-Instruct 在压力下约五分之一场景会执行其自判错误的行为。包内含 1200 对道德/中性探测数据集、消融与转向扫描、表征与行为基准，及六篇配套论文（如 arXiv:2610.08670）的复现脚本，FL 和 MN 的数据存于 Zenodo。
推荐理由：作者开源了一套测量语言模型道德表征与行为差距的 PyTorch 工具，附数据集、基准和配套论文，可直接复用于对齐研究。
Vedant Patel 在 GitHub 开源了 RedLens，一个针对 Ollama 本地运行模型的自动化红队与安全评估框架，支持提示词变异、响应分类、OWASP LLM Top 10 映射和 PDF 报告生成。对 llama3:latest 的最终评估共 1320 次测试（1200 恶意 + 120 良性），ASR 为 28.5%，Block Rate 71.5%，Security Score 79.7/100，最高风险类别为 Jailbreak、Data Extraction 和 Misinformation，Direct 变异是最有效攻击手段（ASR 36.3%）。
推荐理由：给出了完整的攻击变异、指标计算和OWASP映射方法，并附llama3的实测数据，可作为本地LLM安全评估的可复用框架。
Kernel-Hunter 在 GitHub 开源 Mudroom，将 Claude Code、Codex、Gemini CLI、opencode、Aider 等编码智能体运行在 Linux micro-VM 与项目写时克隆中，真实目录不挂载，网络限定为白名单主机。智能体完成后可按全部、部分文件或部分 hunk 审查并应用 diff，且每次应用都可撤销。macOS 应用与 CLI 需 macOS 26+ 及 Apple silicon，Linux 仅 CLI（需 Docker 或 Podman）；项目状态为早期原型，作者提示 Apple 后端下 VM 可达宿主监听端口、会话运行期间密钥以明文落盘等限制。
推荐理由：README详细写明了隔离实现、网络白名单机制与已知的隔离缺口，读者可以据此评估在运行无权限约束的编码智能体时是否适用。
GitHub 仓库 0xsl1m/shadowshield 发布 ShadowShield，一个面向 LLM 应用与多智能体系统的纵深防御安全框架，强调针对提示词注入（OWASP LLM01）的防护。框架统一扫描模型输入与输出，涵盖越狱、编码混淆、数据外泄与密钥泄露，提供净化、隔离、限流等主动响应，并集成 OpenAI/Anthropic/LiteLLM/LangChain 及反向代理网关。基准数据在 deepset/prompt-injections 上加 DeBERTa 分类器后召回率从 regex 18% 提升到 48% 且 0% 误报；AgentDojo 场景中加入 mDeBERTa 分类器后银行/旅行/slack 场景 ASR 降至 0%。
推荐理由：这个 LLM 应用防护框架主动公开了外部盲测集的召回率和误报率，读者可以据此评估分层检测方案的真实防御效果。
theninjadojo 发布开源自托管项目 Shikumi（software-factory），基于 Claude Code（Codex 与 Gemini 为实验性支持）把打了标签的 GitHub issue 由沙箱化智能体分析、设计、规划、实现并开出 PR。核心假设是智能体必会被提示注入，因此沙箱内无网络、无凭据、只读 root，智能体只能产出补丁或文档，由 orchestrator 校验后才接触 GitHub，人通过 Telegram 或 Slack 参与决策。项目现为可用原型，已在一个多仓库项目上实际运行，文档提醒先阅读 Limits 和 SECURITY.md，并指出订阅令牌用于无人值守自动化在 Anthropic 条款上属灰色地带。
推荐理由：原文围绕代理必被提示注入这一假设设计沙箱与验证流程，安全模型的取舍和部署细节都写得具体，可作自托管编码智能体的参考。
论文提出 APEX-Harm 基准，评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击，涵盖金融、咨询和法律任务，每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例，Opus 5 与 Sonnet 5 总体攻击成功率最低（8% 和 20%），任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%，Gemini 3.8 Flash 平均任务得分最高（0.877）但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全，智能体可能产出正确交付物的同时执行未授权操作。
推荐理由：基准覆盖六类注入攻击和12个前沿模型的实测数据，可以用来对比任务得分与攻击成功率之间的差距。
Radoslaw Brus 在 GitHub 开源了 sixi-scanner，一款针对 LLM Agent 端点的命令行红队扫描器，内置 27 种探测技术，仅依赖 Go 标准库，报告支持 JSON、SARIF 2.1.0 和 Markdown。工具会用双标记机制降低误报，在 1,456 条真实回复上把 payload 召回从 0.444 提到 0.889；v0.6.0 在作者维护的 agent-redteam-benchmark 上 Precision 0.688、Recall 0.833 均列七款工具第一，但广度逊于 garak 和 promptfoo。支持多轮探测、可选 LLM 佐证阶段，Apache 2.0 许可，仅限测试已获授权的端点。
推荐理由：作者给出了在公开红队基准上与其他六款工具的对比数据和误报处理逻辑，读者可以据此评估这个扫描器适不适合自己的 Agent 测试场景。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
GitHub 仓库 yunaremaia/aipr 发布了 aipr 工具，在贡献前抓取 CONTRIBUTING.md、AI_POLICY.md、AGENTS.md 等治理文件，用加权短语匹配把仓库立场分为 human_only、restrictive、disclose_ok、permissive、unknown 五种判定。工具支持 pip 安装、GitHub CLI 扩展、批量扫描、SARIF 2.1.0 输出接入 Code Scanning，退出码 0/1/2 供 CI 判断，结果磁盘缓存 24 小时；aipr init 可生成三种预设的 AI 政策文件。目前为早期 beta，已在 hister、polars、MDAnalysis 等少数真实政策上测试，仅支持英文模式匹配，unknown 结果需人工阅读。
推荐理由：把仓库 AI 贡献政策的检查变成一条命令，给出判定规则、退出码和 CI 集成方法，可直接复用在贡献前的政策筛查里。
Persist 项目发布论文配套代码与数据，包含测试框架、防御措施、运行脚本和论文分析所用的全部冻结结果行。框架研究工具调用型 LLM Agent 的持久记忆投毒：会话1中 Agent 读取不可信文档并写入记忆库，会话2中攻击者值若到达副作用调用的目标参数即算攻击成功；出处门控（provenance gate）通过标记来源并拒绝仅由不可信输入支撑的目标值来防御。reproduce_all.sh 无需网络约15秒离线复现，22个 .tex 文件逐字节一致，冻结结果共 NumTrials=18683；覆盖 claude-sonnet-5、gpt-5.6-sol、gemini-3.1-pro 等6个托管模型和 Qwen3-8B、Llama-3.1-8B 等 vLLM 本地模型，MIT 许可。
推荐理由：随论文放出完整测试框架与冻结结果，离线15秒即可逐字节复现论文全部数字，方便核查记忆投毒攻防结论。
flam7791 在 GitHub 发布 governed-ai-platform，把 LLM 网关、MCP 证据服务器和多智能体服务整合为一个可运维的容器化平台。所有模型调用经网关记录预算与策略，外部操作需人工在审批页确认，文档仅用本地嵌入模型索引，支持 Claude、Azure OpenAI、Ollama 及纯开源权重的 sovereign 模式，并提供 Prometheus 告警、Jaeger 全链路追踪、Kubernetes 清单和每次变更运行 8 项端到端冒烟测试的 CI。项目为 MIT 许可，自述适合团队试点而非高可用生产。
推荐理由：原文给出了从原型到可运维服务的完整部署细节，包括网关策略、审批流、监控与 CI 验证，方法可直接迁移。
no-human-ai/no_human 在 GitHub 开源，是一款带计划、对抗审查、防篡改守卫和复现门禁的 AI 编码流水线工具，附 CLI、看板、GitHub Action 和 MCP server。独立评审模型从不接触编码会话记录，只输出引用文件与行号的 pass/fail 清单。作者称在其自身看板上运行 65 天，1709 次被标记完成的尝试中有 505 次被第二模型驳回，44 次因删除或削弱测试在审查前被拦截，46 次修复证明因测试在旧代码上也能通过被拒。支持 Jira、Linear、monday.com 票据接入，MIT 协议，需 Python 3.12+。
推荐理由：原文给出 65 天 1709 次尝试中被驳回 505 次的门禁数据，可以看清这套对抗式审查机制的实际拦截规模。
作者发布 AgentMandate，一个针对智能体系统的设计期权限分析器，通过 manifest 建模智能体被授权的有限工作单元（mandate），在 CI 中分析多条各自被允许的工具调用能否组合成越权路径，并比较版本间有效权限是否扩大。示例中一个只读 search_cases 工具让原本每案 500 英镑的退款上限形同虚设，四条合法调用合计可达 1000 英镑；mandate diff 判定为 WIDENING。工具提供 scan、drift、lint、reach、diff、verify 等命令，可从智能体源码或 MCP 目录生成 manifest 骨架，支持 SARIF 输出与 GitHub Actions 接入，明确不做运行时拦截、数据流可达性或模型行为预测。
推荐理由：展示了用只读工具叠加突破每案退款上限的具体反例，说明了配置 diff 看不出权限扩大的原因和 CI 接入方式。