内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
Pigeon-Home 在 GitHub 发布 Homing Pigeon，一个通过邮件通道让 Muse、Grok、ChatGPT、Claude、Gemini、Copilot 等云端 SI 在本地机器上执行任务的个人远程开发 agent。runner 轮询 IMAP 并验证 HMAC-SHA-384 签名后以特权用户执行任务，结果回传供 SI 迭代；Oracle 机制以 HMAC 签名证明返回答案而不泄露原始输出，支持 bubblewrap 执行隔离与扩展系统。项目明确警告持有共享密钥者即拥有机器完全控制权，建议使用一次性账户并阅读 PROTOCOL.md。
推荐理由：原文给出了完整的威胁模型、HMAC 签名机制和三种安全档位配置，读者可以据此评估把云端 SI 接入本机的实际风险。
getmcpm/cli 发布 mcpm，一个本地优先的 MCP 安全 CLI，在安装时对 MCP 服务器做信任评分（含硬编码密钥、提示词注入、typosquatting 的正则静态扫描），并用 Sigstore 验证供应链、锁定工具定义。运行时 mcpm guard 通过本地 stdio relay 检查每次工具调用的请求、响应和工具定义，按 OWASP MCP Top 10 签名拦截注入与 rug-pull，macOS 上可选 OS 沙箱隔离。无云端、无账号、无遥测，强制路径中不含 LLM。
推荐理由：工具在本地完成信任评分与运行时拦截，公开基准和误报数据一并列出，读者可据其口径评估 MCP 供应链防护的实际覆盖面。
Docket 0.1.0（2026-10-13）发布，这是一个本地预算与证据层，包裹已有 Agent 进程，限制单次运行花费，把每次模型调用、工具调用和文件变更记入哈希链账本，并生成可离线验证的 receipt。上限在进程外强制执行，越界调用返回 HTTP 403 并以退出码 42 终止进程组；验证支持 Python、零依赖 Node 和 clean-room Go 三个互不共享代码的实现，共同通过 44 个 conformance 向量。它明确声明自己是记账工具而非沙箱，不防越界流量和直接访问 provider 的调用；目前不在 PyPI，需从克隆或 release wheel 安装，Apache-2.0 协议，支持 Linux 和 macOS。
推荐理由：这是一个给 AI Agent 加预算上限和可离线验证证据链的本地工具，README 讲清了边界、账本和验证设计，也明说了它不防什么。
roomi-fields 开源的 notebooklm-mcp 提供 33 端点 HTTP REST API 和面向 Claude Code、Cursor、Codex 的 MCP 服务，可批量自动化 Google NotebookLM 的引用问答与 Studio 全类型内容生成。v4.0.0 修复了 GHSA-p69m-c5rf-g2c3：此前 45 条路由无凭据且通配所有来源，现改为仅绑定 loopback、校验来源并要求 bearer token，远程与 Docker 需设 NOTEBOOKLM_API_KEY。
推荐理由：作者详述了双传输架构、33 个 REST 端点与 v4.0.0 的本地安全修复，读者可据此评估把 NotebookLM 接入自动化流程的可行性。
Erdane 在 GitHub 发布 mas 工具，先在本地用 Presidio、spaCy FR 和正则匿名化 PDF 银行账单，再交给经 DSPy + GEPA 优化的 LLM 智能体分析，找出经常性支出并生成预算报告。账单表格逐行读取并与银行打印总额对账到分，匿名化与校验循环最多 3 轮、发现泄漏即阻止发送；演示测试中 Claude Haiku 4.5 在 4 个月账单上找回 7 项经常性支出中的 7 项，7 个分类对 6 个。
推荐理由：原文详细公开了本地匿名化与云端 LLM 分析的完整流程、成本数字和已知局限，读者可以据此评估是否迁移到自己的银行账单场景。
MarcelRoozekrans 发布 AI.Sentinel，一个为 Microsoft.Extensions.AI IChatClient 打造的安全监控中间件，透明包装任意 LLM 客户端，对每个 prompt 和响应扫描 56 个检测器，外加 4 个可选的欧盟 AI 法案 Art. 5 合规检测器，可阻断、告警或记录威胁，并内置实时仪表盘。它还提供 Claude Code、GitHub Copilot 的原生 hook 适配器，以及 sentinel-mcp stdio 代理支持 Cursor、Continue、Cline、Windsurf 等 MCP 主机，零代码改动；支持工具调用审批工作流（内存、SQLite、Entra PIM 后端）。
推荐理由：原文坦白了默认安装下多数语义检测器不生效、OWASP 覆盖大半靠配置，读者可以据此评估安全中间件的真实默认能力。
GitHub 仓库 NashiKanjou/OpnAgent 提供了把 hermes-agent（Nous Research）跑在 NVIDIA OpenShell 政策沙箱里的部署方案，由 JSON 设定档驱动、docker compose 一键部署，支持 Ubuntu Server 与 Docker ≥ 28.0。
推荐理由：README 详细给出了在 NVIDIA OpenShell 政策沙箱中部署 hermes-agent 的完整架构与安全模型，真 key 不出 gateway 的做法可借鉴。
adnair2024 发布了 pawl 工具，用于防止 Claude Code 在改代码时悄悄削弱应用的安全控制。它会快照现有的 Next.js 路由鉴权、Supabase 行级安全、CORS 和安全头，任何移除或放宽这些控制的提交都会被拦截，除非开发者附带理由接受变更。工具完全确定性运行、本地执行、不调用 LLM，面向 vibe coders。
推荐理由：作者给出了拦截安全配置回退的具体机制，对 vibe coding 后的代码安全审查提供了可复用的本地方案。
论文提出 one-relation attack（ORA），通过定位证据到结论之间的隐式论证关系，用一句有来源依据的话将其扭曲，使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上，best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%，开放权重模型 80.0%；攻击无需受害者反馈即可迁移，多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。
推荐理由：论文量化了单句攻击隐式论证关系如何误导智能体，并给出 18 个模型的翻转率和多智能体辩论的对照数据。
Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872，指出在目标模型、提示与回复固定时仅更换评分器，多个 8B/9B 评分器会把合规回复归入相邻的规避类，其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上，合规率相差 22 到 25 倍，去除三个坍缩评分器后差距降为 1.7 到 2.8 倍；作者提出报告最低标准，要求附上各分类标签计数与具名评分器，并同时报告非拒答率。
推荐理由：论文指出 LLM 评分器会把合规误判为规避导致类坍缩，并给出零成本检测方法与报告最低标准，可直接用于越狱评测设计。
vinayvobbili 发布 hubtriage，用 LLM 分诊 AWS Security Hub 中的 GuardDuty 告警，模型只能基于固定 AWS API 查询得到的记录作答，每条 claim 须引用记录字段，并由 witness 门控逐条复核，不匹配即拒绝。良性判定需全部 claim 通过，否则转人工；Agent 只置 workflow 为 NOTIFIED，IAM 策略禁止其 RESOLVED/SUPPRESSED。内置 demo 用录制响应回放真实流水线，当前用例为手工合成的，真实组织录制用例与在线模型准确率评测尚未完成。支持本地 OpenAI 兼容端点与 Amazon Bedrock 的 failover 链，MIT 许可。
推荐理由：原文给出了完整的证据门控机制与判定规则，每条结论都需通过 API 记录复核，读者可以据此复用这套防幻觉设计。
Matt Suiche 在 Hugging Face 发布针对 DeepSeek-V4.1-Flash-1017 的投影控制向量（GLP），在残差流 layers 1–39 以 alpha 0.75 施加 h <- h - alpha*(h·d)d，不修改任何权重。校准阶梯显示 alpha 0.75 为拐点：refusal32 从 stock 1/32 提升到 23/32 comply，alpha 1.0 达 26/32 但中英代码混杂翻倍，alpha 2.0 反而回退到 10/32 且 31/32 出现混杂；验证基于 vLLM 离线 4x H200、greedy、thinking off、n=32。
推荐理由：作者给出了完整的 alpha 校准阶梯和拒绝率、代码混杂等实测数据，读者可以据此判断这个控制向量的实际效果与适用边界。
GitHub 仓库 carlmasters02/ai-wargame 让两个 AI 智能体在程序化生成的企业网络 Sakura Logistics K.K. 上进行回合制网络攻防对抗，RED（默认 deepseek-chat）负责窃取核心数据库，BLUE（默认 kimi-k2）负责防御，可在交互式网络地图上实时观战、担任 judge 注入零日漏洞或 insider 事件，并支持对局中途换模型。
推荐理由：仓库用真实 CVE、EPSS 和 CISA KEV 情报驱动两个 AI 智能体在仿真网络上对抗，还带基准脚本，想看智能体攻防推演可以自己跑一遍。
Vinay Roy 在 GitHub 开源 applied-ai-agents 仓库，提供针对真实业务问题的可运行 AI Agent，每个项目都带护栏、评测和产品决策记录。主力项目 Guarded support agent 用 Python 实现无依赖，覆盖代码级授权、PII 脱敏、提示词注入筛查和 12 条轨迹评测；故障注入对照实验（每行 100 次随机试验）显示，开启护栏后重复扣款从 79/100 降到 0，注入攻击成功率从 68/100 降到 18，且未增加正常退款误拦。仓库还含 MCP 聊天应用、mdEditDiff 与 Tech60 工具、Failure Files 复现案例和 AI 决策日志，MIT 许可。
推荐理由：作者用故障注入的对照数据量化每条护栏的拦截效果，评估方法和注意事项也一并公开，可直接迁移到自己的 Agent 项目。
论文提出用合成概念—对抗故事对的激活均值差构造特征向量，覆盖 1,036 个对齐相关概念、2M 条多语言多题材合成故事并公开发布。在三个模型家族的六个模型上，这些向量可泛化到聊天对话与网页文本的概念检测，形成跨模型可解释的几何结构，注入激活后可因果地引导模型行为，并被用于分析越狱攻击与数学及智能体推理过程中的模型表征。
推荐理由：这项工作用合成故事对构造特征向量，给出了跨六模型的可验证泛化和因果操控结果，是研究模型概念表征的可迁移路线。
ethosagent 在 GitHub 开源了 Warden，一个位于 Agent 与互联网之间的 MITM 代理，通过默认拒绝出口策略、在网络边缘注入真实密钥、扫描响应中的提示词注入与凭据泄漏，使 Agent 结构上无法绕过安全控制。Agent 只持有占位符令牌，永不接触真实凭据；项目提供 Docker Compose 与 Kubernetes 部署方案，内置仪表盘、SQLite 审计日志、Ed25519 签名审计回执，并给出 Ethos、Hermes、OpenClaw、ZeroClaw 等常见 Agent 运行时的即用配方。路线图包括用户身份绑定、代表用户操作与企业控制平面。Apache-2.0 许可。
推荐理由：原文给出了代理的默认拒绝、密钥注入和隔离验证等具体机制，读者可以据此评估它是否适合作为 Agent 的网络边界。
autonomic-ai-dev 发布开源项目 agent-mouth，作为 Autonomic 集群的 Ingress API 网关，对 Agent 生成的 bash 命令用 tree-sitter AST 解析并按安全策略校验，rm -rf / 等危险命令在进 shell 前即被拒绝并返回结构化 JSON 错误。项目还提供 NATS JetStream 到 WebSocket/SSE 的实时流转发、Slack webhook 人工审批（cryptographic approve/deny 回调）和 stdin 日志摘要功能，支持独立 CLI 模式与 ：3104 端口守护进程模式，可通过 Homebrew 或 curl 安装，MIT 协议。
推荐理由：介绍了一个开源 Agent 命令安全网关的实现思路，tree-sitter AST 在执行前拦截危险命令的做法可直接迁移到自己的 Agent 工作流。
Ashwin Nagarajan 在 arXiv 发布论文，提出 write once, check many 框架，由 writer 模型把智能体轨迹转成与策略无关的账本，reader 只凭账本检查未预先知晓的策略。在 SHADE-Arena、τ-bench 和 τ²-bench 的 900 条轨迹上，12B 模型读叙事账本的 AUC 匹配甚至超过同一模型读完整轨迹；在 SHADE-Arena 多事实策略上达 .777 对 .713，超过 31B 模型读轨迹，且八项策略合计省约 5 倍 token。论文也指出规则化抽取在部分单动作策略上更好，账本可能漏掉长工具输出和消息内容中的证据。
推荐理由：论文给出复用账本审计智能体轨迹的实测对比，12B 模型在部分策略上优于 31B 读全轨迹，还省约 5 倍 token。
autonomic-ai-dev 在 GitHub 发布 agent-immune，为 Agent 生成的不可信代码提供零信任执行安全防护。工具包含三个核心命令：scan 解析 Cargo.toml、package.json 等清单并并发查询 OSV.dev 检测 CVE；sandbox run 通过 seccomp-BPF 或 Firecracker microVM 隔离执行并屏蔽未授权网络系统调用；verify-memory 监控峰值 RSS 与内存增长率，检测 OOM 脚本并返回诊断信息给 LLM。支持独立 CLI 模式和 HTTP daemon（端口 3106）、NATS JetStream、agent-spine 集成模式，提供 Homebrew 与 curl 安装方式，MIT 许可。
推荐理由：原文给出了沙箱、依赖扫描和内存验证三层机制的具体实现与配置方式，读者可以直接评估是否用于隔离 Agent 生成的代码。
开源库 needtoknow 为 RAG 提供权限感知检索，通过 PermissionedRetriever 让每位用户只取回有权阅读的文档块，核心零依赖。它支持 prefilter、postfilter 和 auto 三种策略，权限服务出错时关闭失败而不放行未过滤结果，并提供 pgvector、Qdrant、Milvus、Chroma、Redis、Elasticsearch/OpenSearch 等向量库适配与 OPA、OpenFGA、SpiceDB、Cerbos、LangChain、LlamaIndex、Haystack、MCP 集成。
推荐理由：原文给出权限过滤在 RAG 检索层的完整实现思路，并用基准数据说明过滤位置对召回率的影响，方法可直接迁移。