内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
mirante 是一个面向大屏的 AI Agent 实时监控面板，任何 Agent 只需改 URL 即可接入，无需改代码。它以动画地图展示 Agent、MCP server 与 tool 的调用链路，提供每次 LLM 决策的时间线、置信度、p50/p95 延迟和错误率，并内置幻觉检测（虚构 tool、参数无效、无依据引用、声称未执行的操作）与不确定性标记。代理透明转发 Ollama 与 OpenAI 兼容接口及 MCP 流量，实测每调用仅增加 0.4ms，支持 Go SDK、HTTP 事件接口和 Kubernetes 部署。
推荐理由：这个 Agent 可视化监控面板只需换 URL 即可接入任意 Agent，实测开销仅 +0.4ms，还内置了幻觉检测规则。
startupmini 发布了 Minicode，一个构建在 vendor 化 MiniCore 内核（STATE/MODEL/ACTION/LOOP，仅开放 compactAsync、initialMessages、cwd 三个 additive seam）之上的开源编码智能体 CLI。工具层涵盖 fs/bash/git/memory/todo/MCP/LSP、子智能体（并发池 3）、skills、shadow-git 检查点与 hybrid RAG 记忆（0.7 cosine + 0.3 keyword）。
推荐理由：原文详细列出这个 CLI 编码智能体的安全分层与可复现测试门槛，读者可以照着命令自行验证其 bash 防护与沙箱表现。
kisubkim 发布 AIBridge，让封闭内网的本地 AI（Open WebUI）不直接联网，通过开发 PC 上的 FastAPI 网关经 SSH -R 隧道获取网页搜索（SearXNG）和网页正文。网关仅绑定 127.0.0.1 并以 API Key 认证，内置 SSRF 与 DNS rebinding 防护、域名黑白名单和限流，仓库含安装脚本、操作手册 doc/HANDS-ON.md 与 MIT 许可。
推荐理由：面向封闭内网环境的 Open WebUI 联网检索方案，给出 SSH 隧道网关的完整搭建步骤与 SSRF 防护细节。
latitude-dev 发布 PromptL，一种用于为 LLM 定义动态提示词的通用语法，可通过 npm 安装 promptl-ai。它用更可读的类配置语法替代传统 JSON 消息结构，支持 {{ country_name }} 等变量实现动态生成，并借助带 RPC 的 WASM 模块提供 Python 等官方绑定，不丢失原有结构的功能。
推荐理由：官方介绍了 PromptL 的语法设计和动态变量写法，读者可以对照传统 JSON 提示词结构评估其可读性和适用场景。
GitHub 用户 ppradyoth 发布开源工具 knowyourai，通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致，用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型，不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则，支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库，其中 61 个（48%）的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段，仓库地址为 https://github.com/ppradyoth/knowyourai。
推荐理由：工具只读文件头不运行模型，还给出了对下载量前 200 的 GGUF 仓库的模板差异实测，方法可复用。
richardsondx 发布 callgate，一个 AI Agent 工具调用的预执行策略门控，每次调用按版本化策略返回 allow、deny、require_approval、redact、defer、escalate、simulate 七种类型化决策，无运行时依赖，npm 包名 callgate。
推荐理由：原文讲清了在工具函数层拦截 Agent 调用的做法和审计日志结构，读者可以直接按 quickstart 迁移到自己框架里复用。
richardsondx 发布 ground-rules，一个把自然语言 Agent 规则编译成机器可执行 policy JSON 的工具，配合 callgate 在每次工具调用前强制执行。compileRules 离线确定性编译，validatePolicy 检测规则冲突、不可达规则和过宽 allow，未覆盖的表达可用 compileWithModel 调用自定义 LLM 生成并经验证器把关。零运行时依赖，MIT 协议。
推荐理由：原文给出了从自然语言规则到可验证 policy JSON 的完整编译流程与规则冲突检测方法，做法可以直接迁移到自己的 Agent 约束场景。
richardsondx 发布开源库 agent-spendcap，为 AI 智能体提供预算与语义限流，零依赖，npm i agent-spendcap 即可安装。每个 agent scope 可设成本上限、工具调用上限、外部写入上限和命名滑动窗口限流（如每小时 5 次退款），每次动作前调用 check() 纯判断、动作后 record() 记账并追加 JSONL 审计日志，超限时触发 onExhausted 停止或升级处理。仓库还附 llms.txt 与 Claude Code / Codex 技能文件，MIT 许可。
推荐理由：为智能体提供成本与语义级限流的轻量方案，用滑动窗口限额覆盖按请求限流表达不了的每任务花费上限场景。
GitHub 仓库 Addyk-24/Niyam-AI 发布，为 LLM 智能体的每次工具调用附加 zk-SNARK 证明，第三方约 50.7 ms 即可验证且无需模型权重。在 Agent-SafetyBench 2,000 个场景的 5 折交叉验证中 F1 达 88.8%，高于 NeMo Guardrails（40.4%）、GPT-OSS-Safeguard-20B（46.2%）和 Llama Prompt Guard 2（66.8%），但作者注明 Judge 拟合了基准分布而基线为零样本；红队 18 个攻击向量修复后全部拦截，已知缺口是门控读取的 PyTorch 输出与被证明的电路输出尚未绑定，证明生成约 1.7 秒，适合低频高风险操作。
推荐理由：仓库同时给出了与 NeMo Guardrails 等基线的 F1 对比、消融、红队结果和已知缺陷说明，便于读者评估 zk-SNARK 护栏的真实代价。
Eric-huang799 在 GitHub 开源了 Duplex，一个基于 Electron 的桌面浏览器，让人类与 AI 共用同一标签页和实时会话：人看渲染页面，AI 通过 24 个 MCP 工具读 DOM 和页面源码。内置 agent 支持 DeepSeek、Kimi、Qwen、GLM、Ollama 等 OpenAI 兼容 API，可镜像 opencode、Codex、Claude Code 会话到侧面板，提供 F2 / Ctrl+Shift+K 紧急停止键和页面标注功能。v0.2.6 新增全快捷键自定义、书签管理器和流程内查找栏；作者提醒 AI 驱动真实浏览器会话涉及登录态和 cookie，误操作可能触及真实账户数据。项目采用 MIT 许可证。
推荐理由：原文给出了 Duplex 与 browser-use、Playwright MCP 等方案的对比表和安全边界说明，读者可以评估这种人机共用浏览器会话的取舍。
MAF 是一个与具体 CLI 无关的多智能体编排框架，由模型规划任务 DAG，再把各节点分派给 coder、tester、security、reviewer 等角色，每个角色带独立系统提示词和工具白名单。0.2.1 版本已支持 Claude Code、Gemini、Codex 三种 CLI 后端和 Ollama、OpenRouter 两种 HTTP API，内置策略引擎、路径限制、密钥脱敏、写入角色全仓库 diff 安全审查，以及 HMAC 签名的 SLSA 风格证明包。README 用状态表逐项区分已交付与计划中功能，并附对应测试文件；worktree 隔离、人工审批门、in-toto 证明等留待 0.3.0。
推荐理由：README逐条标注每个特性是否已交付、对应测试与版本，读者可据此评估这个多智能体编排框架的真实完成度。
gebruder 在 GitHub 开源了 Wirken，一个面向自主 Agent 的企业网关，以单个静态 Rust 二进制分发，MIT 许可。网关将 Telegram、Slack、Teams 等消息渠道接入 Agent，核心假设 Agent 本身不可信：凭据保存在加密 vault 中不进入模型上下文，每个动作执行前写入哈希链审计日志，默认最低权限，shell 命令在无网络的临时容器沙箱中运行，且按 Agent 设置支出预算。模型连接不绑定厂商，可接 frontier API、Ollama 本地权重或欧盟托管端点。README 明确列出已知局限，包括出口流量未完全隔离、沙箱可关闭、注入检测只标记不拦截、权限按 Agent 而非按用户生效等。
推荐理由：该仓库写明了权限模型、沙箱与审计的实现边界，并列出逃逸开关和已知局限，方便读者评估这类企业 Agent 网关的适用场景。
regnant-io 在 GitHub 开源了 Cordon，一个部署在本地模型运行时之前的保密推理控制平面，提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行，支持 light 到全气隙 dark 共五种部署模式；README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分（如 SGX-DCAP、证书吊销）以及有意保留的弱点。
推荐理由：原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点，读者可以据此评估它是否适合自己的保密推理部署。
TyrusRC 发布 mantis，一个本地代码安全审计工具，用 OpenGrep 做静态扫描、由 LLM 对扫描标记的代码切片做推理复核。支持作为 Claude Code 斜杠命令运行，也可作为独立 CLI 接入 Anthropic、Google、OpenAI、OpenRouter、Ollama 等 litellm 支持的提供商；提供 quick、deep、bugbounty、cve 等审计模式与 --fix、--skip-llm 等选项，除每日一次的 PyPI 版本检查外无任何出站网络调用。
推荐理由：原文给出了完整的安装方式、审计模式和流水线分阶段说明，读者可以直接按需选择用 Claude Code 或独立 CLI 跑本地代码安全审计。
duki-core 在 GitHub 发布 llm-output-guard，一个厂商无关的轻量库，针对本地/自托管 LLM 应用的四类安全问题：系统提示词泄漏、文本标记与结构化 tool call 的未授权动作执行、以及经 RAG 内容的间接提示词注入。库内含 PromptLeakGuard 三层检测（字符串匹配、嵌入相似度、LLM judge）、ActionGate 用户确认门控、context_guard 输入清洗和 ToolCallGuard 结构化调用校验，作者从基于 LM Studio 的本地聊天伴侣项目中抽出，MIT 许可，并明确说明这是启发式纵深防御而非正式安全保证，流式与 async 支持尚未实现。
推荐理由：这个开源库把系统提示词泄漏、幻觉动作执行和间接注入拆成四类问题，并诚实列出了每层防御的失效条件，方法可直接迁移到本地 LLM 应用。
作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b（Q4_K_M）各跑 96 次，共 192 次 live 测试，验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证，无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审，只对照宿主状态检查工具调用的授权、目标和重复提交。
推荐理由：作者用 192 次本地实测给出确定性行为守卫的前后对照数据，还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异，可作工程参考。
safia-habib 在 GitHub 开源 llm-security-check，一个只读、被动的 Web 扫描器，用通俗英文报告 AI 应用的 LLM 相关安全问题：JS 包、.env、source map 中的 OpenAI、Anthropic、Google Gemini、Groq、AWS 等提供商密钥，客户端代码中的 JWT，浏览器直连提供商 API，前端暴露 system prompt，CORS 配置过宽等。每项发现附带风险说明、攻击场景和修复步骤。工具只发 GET 和 HEAD 请求，不测试密钥有效性、不运行无头浏览器、不扫描需登录的页面，报告仅在内存中保留最多 30 分钟，支持 Docker 和 Fly.io 部署，采用 MIT 许可。
推荐理由：原文明确了工具的检测范围和刻意保留的局限，读者可据此判断它适合放进什么样的自查流程。
Azhy34 在 GitHub 开源 agent-observability-logging，为多智能体系统提供由代码而非模型写入的确定性 JSON 审计日志和回合末不变量检查，可作为 Google ADK 插件或任意 Python Agent 循环的上下文管理器使用。每行事件带 OpenTelemetry trace id，写入前对 API 密钥、JWT、邮箱、电话、卡号等做脱敏，内置 last_reply_from、required_tool_calls 等规则，违规以 ERROR 级 invariant_violation 事件记录且不中断回合。
推荐理由：作者给出多智能体系统确定性审计日志的做法和真实事故案例，读者可以照着把不变量检查搬进自己的 Agent 循环。
astrid-runtime 在 GitHub 发布 Astrid 2026.9.0，一个基于 WebAssembly capsule 的用户态运行时，目标是让软件组合时不互相继承权限，未来方向是独立操作系统。核心安全思路是把权限放进运行时而非提示词：ed25519 签名的能力令牌、无环境权限的 Wasmtime 沙箱、五层独立 fail-closed 机制和签名审计链；每个 principal 拥有隔离的存储、配额和审计。新版本加入卷式持久状态、macOS FSKit 与 Linux FUSE 挂载、Linux MUSL 归档和可断点续装的 capsule 安装，支持 MIT/Apache 2.0 双许可。
推荐理由：原文详细拆解了用 WASM 沙箱和签名能力令牌替代提示词信任的分层安全机制，读者可以对照自家 Agent 部署评估可借鉴之处。
sushant-me 在 GitHub 发布了论文《LLM Agent Firewall》的可复现实现，包含 6,000 条确定性智能体间消息语料、亚毫秒级 TF-IDF + 逻辑回归分类器，以及置信度校准的两层路由，仅升级不确定流量给语义判官。在 CPU 上约一分钟跑完全部核心结果，无需 GPU、API 密钥或网络。实测 Strata I+II held-out 准确率 1.000、0 误报 0 漏检，分类器平均延迟 0.333 ms，5% 隐蔽攻击占比下混合延迟 271.5 ms（比全部走判官快 19.9 倍）。
推荐理由：作者复现了论文的多智能体提示词注入防火墙方法，还披露了语料格式混淆这类基准设计陷阱，做法对自建评测的人有参考价值。