内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
yunaremaia 在 GitHub 发布 tool-call-retry，为 AI Agent 工具调用提供 Saga 模式运行时，解决部分失败后状态不一致的问题。功能包括带 full jitter 的指数退避重试（重试 429/5xx、超时和连接错误）、按逆序补偿已完成步骤、基于 SQLite WAL 的崩溃恢复、idempotency_key 幂等去重，以及可被 Agent 直接执行的 prose 错误摘要和 CLI。需 Python 3.10+，尚未发布到 PyPI，仅可从 git 安装；作者明确列出未实现项：无 LLM 反向推导补偿、无并行步骤、无分布式锁。
推荐理由：作者为 AI Agent 工具调用实现了 Saga 模式运行时，重试、补偿、崩溃恢复和幂等的边界都写得很具体，还诚实列出了未实现项。
anushamukka9 在 GitHub 发布 output-contracts，一个零运行时依赖的 Python 库，用于在工具输出进入模型上下文前做结构化校验和敏感信息脱敏。字段标记 secret 即始终脱敏，另有全局扫描覆盖邮箱、电话、SSN、信用卡、API key（sk-、ghp_、xoxb-、AKIA 等）、IP 与 JWT，支持 full/partial 两种脱敏样式与 CLI 的 CI 校验模式；实测校验含敏感字段的真实负载约 3,601 ops/sec。作者说明其与 llm-sentinel（守护输入侧）互补，并坦承检测基于正则和启发式，未列出的密钥格式会漏过，Luhn 通过的数字串可能误报。MIT 协议。
推荐理由：作者针对工具输出缺少校验与脱敏的问题给出了可复用的 Python 方案，并附基准数据与已知局限，便于评估是否适用。
作者 Ashish Sinha 发布 schemagate v1.0（Apache-2.0），一个在模型看到 schema 之前就按调用者身份过滤的 text-to-SQL 工具，被限制的表直接不进提示词而非排名靠后，避免 RLS 过滤后用户把「无记录」误当成数据不存在。支持 LangChain、MCP 和任意 SQL agent，覆盖 Postgres、Oracle、MySQL、SQL Server 和 SQLite，仅依赖 SQLAlchemy、无需 API key。
推荐理由：作者给出了 Spider、BIRD 等公开基准的实测数字和 token 节省对比，读者可以据此评估这个先按权限过滤 schema 的做法是否值得引入。
MEDHA 在 GitHub 开源，是一个验证优先的通用 Agent harness，单一 Rust 二进制可接本地 Ollama、vLLM 或 Gemini 等任意模型。每次工具调用走验证、审批、执行的内核循环，默认启用 macOS Seatbelt 和 Linux Landlock 沙箱，附带 hash 链事件日志、回滚、子 Agent worktree 隔离和 medha gate 行为评测。项目处于 Pre-1.0 阶段，提供桌面应用、TUI 和无头模式，Apache-2.0 许可。
推荐理由：项目把每步工具调用都过验证和审批，并给沙箱、事件日志和回滚做了一套完整实现，适合关心 Agent 安全执行机制的人参考。
yannickYamo 发布 Python 工具 receipts，位于研究智能体与最终文档之间，要求每条论断绑定代码抓取页面上的逐字引用、链接和阅读日期，无法对应引用的论断被删除并列出原因。流程分两阶段：代码检查引用是否逐字在页、数字是否在引文内，再由小模型（claude-haiku-4-5）作为 reader 判断句子是否涵盖论断，无答案视为不通过；reader 阶段标价为 120 条论断 $0.17。核心零依赖，需 Python 3.10+，MIT 协议，支持 --code-only 模式与 MCP 服务器，仓库见 https://github.com/yannickYamo/receipts。
推荐理由：作者保留了自家工具的失败测试与误切率，读者可以据此了解这套引用核查流程的真实边界。
megern 在 GitHub 发布 llm-security-lab，一个针对本地 MLX 模型的离线评测工具，用合成 canary、16 组阿拉伯语和 16 组英语案例（直接注入、模拟检索文本中的间接注入、良性请求）测试窄定义行为，全程不联网、不调用远程推理，仅接受本地已有模型文件与 LoRA adapter。报告记录完整原始输出、案例与配置哈希及运行时版本，检测 canary 全量泄漏（含 NFKC/空白归一化和 base64/hex 编码）、文本工具标记泄露、良性案例精确回答和拒绝短语，错误与截断响应单独统计且不计入成功防御。
推荐理由：仓库把注入与泄漏检测做成可审计的离线流程，并明确标注测量局限，适合想自测本地模型注入行为的开发者参考。
blueaisecurity 在 GitHub 开源了面向安全从业者的 AI 安全动手实验仓库 ai-security-labs，包含四个可在本地 Docker 环境搭建的实验。Lab 01 复现提示词注入让 LLM 聊天机器人泄露受保护秘密；Lab 02 通过 MCP 给聊天机器人接入工具后用工具投毒和间接注入劫持；Lab 03 复现 EchoLeak 模式，诱导 Agent 读收件箱并把密码发给攻击者；Lab 04 在邮件 Agent 前部署 AI 网关，逐个开启八项检查，观察哪些能拦住向攻击者发送 AWS 密钥。各实验用 Ollama 在容器内运行本地模型（如 llama3.2、qwen2.5:7b），无需 API key 和云端费用，每个 write-up 覆盖理论、架构及攻击成功前的失败尝试。
推荐理由：四个实验环境都在本地容器里复现提示词注入、MCP 投毒和 Agent 劫持，并附完整 write-up，安全从业者可以动手跑攻击而不是只读文章。
Reddit 用户 /u/dtdisapointingresult 分享一种防止不可信 Docker 容器向外上传本地数据的方法：在 docker-compose 中将服务放入 internal 的 isolated_network，并用 alpine/socat 作为网关只转发入站请求，出站连接被阻断。socat 容器仅占约 1.2MB 内存，作者还建议用 docker compose 替代 docker run，并附上 cap_drop、no-new-privileges 等可选加固配置。
推荐理由：作者给出可直接复用的 docker-compose 配置，用 socat 网关隔离不可信容器的出站流量，额外开销仅约 1.2MB 内存。
作者发布 abyss，一个把 AI Agent 运行在 Docker 容器内的隔离系统，通过 Agent Client Protocol（ACP）代理编辑器与容器内 Agent 的连接，Agent 感知不到自己不在宿主机上。用户用短 YAML 描述镜像、挂载和启动命令即可拉起容器，无需写 Docker Compose；支持文件拷贝、bind-mount、启动脚本、临时双向 TLS 认证，以及可拦截全部 ACP 消息的 WASM 插件，兼容 Zed 等 ACP 客户端，并提供 oneshot 命令支持批处理调用。项目已在 GitHub 提供二进制和 Docker 镜像，作者说明开发中由 AI 辅助生成代码和文档，代码经人工审查。
推荐理由：作者作为项目维护者讲清了 abyss 用容器隔离 Agent 的机制和 ACP 代理设计，读者可以了解如何在不写 Docker 配置的前提下隔离本地 Agent。
Icaro0310 发布 devin-memory 0.3.0，一个面向 Devin 的防投毒记忆存储，为每条记忆记录 source_session_id 和 source_rowid，可通过 verify 对照 Devin 的 sessions.db 只读审计来源。工具在每次写入时筛查密钥与注入形态，可疑条目进入隔离区，须人工执行 quarantine --release 才激活，并支持 supersede/retract 版本管理和 export 到 Devin memory MCP 兼容的 memories.l。官方 README 声明这是非官方社区项目，与 Cognition AI 无关；同时坦承写入筛查只是启发式过滤器，需配合 gitleaks 等专用扫描器使用。
推荐理由：原文详述了记忆防投毒的隔离门、来源溯源和版本机制的具体实现与局限，可直接评估是否引入自己的 Agent 记忆流程。
emazaheri 在 GitHub 开源 ios-agent，一个通过 WebDriverAgent 和 Apple XCUIAutomation 驱动 iPhone 或 iOS 模拟器的 AI 智能体，提供终端应用、MCP 服务器（31 个工具、5 个资源）和底层库。设计上把原始 accessibility 树压缩成摘要（如 251 个节点压到 12 个元素，每步 50 到 472 token），动作自带结果屏幕以减半往返；在 gpt-5.6-sol 上 13 任务 3 轮实测成功率 39/39，成本 $1.50，并在真实 iPhone 上验证同一任务单次观察完成。安全方面默认对 Send、Pay、Delete 等操作和触达他人的动作要求审批，密钥经钥匙串直输且卡号邮箱在会话内脱敏。
推荐理由：项目给出了真实硬件上的 token、动作数和成本实测，还解释了为何坚持只用 Apple 公开 API，方法与数据都可复核。
作者开源了 langgraph-order-agent，一个为牙科种植体供应商员工打造的订单问答 Agent，用 LangGraph 构建，可接本地模型或 Claude。任何写操作都会通过 interrupt() 暂停并返回审批卡片，人工批准后才执行；答案检查规则防止虚构数字、虚假取消声明和错误订单号。作者用两个开源权重模型（20B 和 8B）跑了 12 个场景各 3 次，含 6 次提示词注入，审批步骤全部守住；盲评还发现并修复了一个 product_lookup 只匹配精确子串的工具 bug。仓库提供 pytest 测试、HTTP API 和 docker compose 部署。
推荐理由：作者把带人工审批的订单 Agent 完整开源，还给出盲评评测结果，读者可以参照这套审批中断和答案校验做法迁移到自己的 Agent 项目。
Dinesh-Melimi 在 GitHub 发布 llm-security-gateway，一个介于内部应用与 LLM API 之间的 FastAPI 反向代理，按请求执行认证、限流、模型白名单、注入扫描、PII/密钥脱敏和金丝雀检测，并将每次决策写入仅存 SHA-256 哈希提示词的审计日志。控制项映射到 OWASP Top 10 for LLM Applications (2025) 与 NIST AI RMF；注入检测器在 50 条自建标注集上 precision 0.952、recall 0.80，作者提醒数字偏乐观，仅可作回归底线。项目支持 mock 或任意 OpenAI 兼容端点（vLLM、Ollama、LiteLLM 等），MIT 协议，不支持 SSE 流式与多副本限流。
推荐理由：作者给出了注入检测器在自建 50 条标注集上的 precision/recall 数字和已知局限，读者可据此评估这套网关是否值得直接复用。
metadatastician 发布 harvard-dehallucinator，一个面向 LLM 智能体的外部状态管理编排框架：任务状态存放在上下文窗口之外的 state/state.txt，只有独立验证器 engine/verify_register.sh 能写入 COMPLETE，智能体只能请求重新测量而不能自行提供结果。项目借鉴哈佛架构将指令与任务状态分离，并内置熔断机制（attempts 超过 totalItems+5 即写入 EMERGENCY_STOP）。README 还保留了 2026-08-23/24 的事故记录：原实现中 remaining 由调用方传入、验证器从未被调用，导致 state.txt 在迁移完成前 1 小时 27 分就写入 16/16 COMPLETE，修复仅改了约十行代码。
推荐理由：作者用仓库自身的一次事故作实例，说明未接线的验证器如何导致幻觉式完成，方法可迁移到智能体状态设计。
Yaw Labs 发布 redis-mcp，一个让 Claude Code、Cursor 等 MCP 客户端探索和诊断 Redis 实例的 MCP 服务器，仓库地址 https://github.com/YawLabs/redis-mcp。默认只读，写操作需设置 ALLOW_WRITES=1，键枚举一律使用带 COUNT 上限和迭代上限的 cursor-based SCAN 而非 O(N) 的 KEYS，可安全用于百万级键的生产实例。
推荐理由：原文详细说明了命令门控、SCAN 替代 KEYS 和超时等安全设计，可帮助读者判断该工具能否安全接入生产 Redis。
/u/Kadri006 发布开源 email-engine，将 IMAP、JMAP 或转发邮箱同步为有序事件日志，通过 HTTP、SSE、webhooks 和 MCP 暴露操作，引擎本身不含模型，读取方可用 Ollama Agent、n8n 或脚本。Agent 持有作用域 token，可控制文件夹、动词及写入是执行还是仅提议给人审批；每个操作幂等且可撤销，基于 DMARC 结果标记消息信任级别，消息内容仅作数据并在离开引擎前掩码 OTP 和卡号。Apache-2.0 协议、无 CLA、单 Docker 容器，目前为 Beta，仅在 Dovecot 和 Stalwart 上测试过。GitHub：https://github.com/Kadri-cloud/email-engine
推荐理由：作者本人开源的邮箱事件引擎，把 IMAP/JMAP 邮箱变成可回放事件日志，动作可审批可撤销，适合本地 Agent 场景复用。
runtape 在 GitHub 上开源，这是一个面向 AI 智能体的反事实调试工具：输入一次坏运行，它通过删除重跑定位导致错误决策的那段上下文，用统计检验确认原因，并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话，有该句 10 次重跑中 10 次转发，无则 0 次。在 AgentDojo 的 sarvam-105b 测试上，23 个注入攻击中它定位到 20 个，优于直接问模型（18）、leave-one-out（15）；支持 OpenTelemetry、Langfuse 导入，兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。
推荐理由：原文给出了方法细节、显著性检验和 AgentDojo 实测对比，想对智能体做反事实归因和回归测试的读者可以参考其做法。
GitHub 项目 stAirCase 让 AI 编码代理在独立 worktree 中工作，每次改动先提案待批准，最终只提交获批内容到新分支，并附带可验证、可重建的签名变更证书与防篡改审计链。支持 Claude Code、Codex，Gemini CLI 与 OpenCode 进行中，依赖仅 git，提供本地 demo、SLSA 验证摘要与 Rekor 可选锚定，项目处于 pre-1.0 阶段。
推荐理由：项目自述了审批、审计链与可重建提交的完整机制和沙箱边界，读者可据此评估 AI 编码代理改动的可控性。
AI Eval Corp 在 GitHub 发布 llm-eval-suite，一个本地 FastAPI 应用，供测试评估团队在自己控制的机器上对大语言模型做可重复的点选式测试与评估，运行于 http://127.0.0.1:8765。
推荐理由：仓库附带了在 RTX 4070 SUPER 上对 GPT-2 Medium 微调版与 base 版的完整实测数据，读者可据此评估该套件的实际输出形态。
rmt99e 发布 trust-layer-agent，一个介于 LLM 与客服 Agent 之间的 TypeScript 库（Node 20+），在工具调用前和回复发送前用代码强制校验：写入需客户明确同意，价格、日期和完成表述必须有工具结果支撑。内置模拟器以 pass^k 指标测试，订阅示例套件中 Sonnet 5.5 达 100%（22/22，成本 $5.05），Haiku 4.5 为 77%（17/22，出现 1 例有害情况）。项目地址 https://github.com/rmt99e/trust-layer-agent 。
推荐理由：作者用规则代码在工具调用和回复两个环节拦截模型的不实陈述，并给出带通过率和成本的实测结果，方法可直接迁移到客服类 Agent 项目。