内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
AnswerDotAI 在 GitHub 开源了 fastaudit，一个轻量执行防护工具，用于在普通 Python 进程中运行 LLM 生成的代码时防止意外损坏，例如删错项目文件、写入用户主目录或未经允许的 subprocess 调用。它通过 mk_audit() 安装进程级 Python audit hook，权限检查仅在 audit_perms() 上下文激活时运行，写操作须落在允许目录内，subprocess 和线程创建默认被拒绝，主机可通过 before_deny 回调放行受信工具。在 Python 3.12+ 上默认启用 sys.monitoring 监控非标准库原生调用，原生模块可用 fastaudit_safe_native 入口点声明安全前缀。
推荐理由：这是 AnswerDotAI 自家工具的完整说明，明确了威胁模型与已知局限，帮助读者判断它适用和不适用哪些 LLM 代码执行场景。
HUA503 在 GitHub 开源了 mcprism，一个针对 Model Context Protocol 服务器的安全扫描器，从配置、源码 SAST 和 MCP 握手三个角度检查风险，只枚举能力、从不调用工具。每个服务器获得发现列表、0-100 分数和 A-F 等级，33 条规则映射到 OWASP MCP01-MCP07，支持策略即代码、CI/CD 集成和 SARIF、JUnit、CycloneDX 等多种输出格式。工具以单个 Go 二进制发布，完全离线运行，无运行时依赖，可自动发现 Claude Desktop、Claude Code、Cursor、VS Code 等客户端的 MCP 配置。
推荐理由：一个离线单二进制的 MCP server 安全扫描器，覆盖配置、源码 SAST 和运行时握手三种角度，还支持策略即代码和 CI 集成。
Cover 是一个面向 AI 编程代理的双向隐私代理，在请求离开本机前把匹配到的敏感值替换为确定性的逼真假值，并在响应中还原。支持 Codex、Claude Code、Cursor、Pi / Oh My Pi 及 OpenAI 或 Anthropic 兼容 SDK，提供 allow、placeholder、pseudonymize、mask、redact、block 六种策略动作，内置 AWS/GCP 密钥、GitHub 与 Stripe token、邮箱、SSN 等检测器，可选本地 llama.cpp 语义检测器（默认 Qwen2.5-0.5B-Instruct，约 490 MB Q4 GGUF）。
推荐理由：给 AI 编程代理加本地隐私代理是常见需求，这份文档把策略动作、失败关闭边界和误漏场景讲得足够具体，方法可迁移到同类部署。
Radicalbit 开源了 radicalbit-ai-gateway，一个带护栏、限流、多策略路由、语义缓存、MCP 代理和端到端请求追踪的 LLM 网关，Apache 2.0 协议。所有配置通过 UI 完成，内置 AI 助手可用自然语言生成 YAML；支持 OpenAI、Anthropic、Google Gemini、DeepSeek、Mistral、Azure OpenAI 及任何 OpenAI 格式端点，企业版额外提供 RBAC、SSO 和审计日志。项目地址 https://github.com/radicalbit/radicalbit-ai-gateway 。
推荐理由：README 覆盖了路由、护栏、缓存、MCP 代理和追踪的完整配置示例，读者可以据此评估这个 LLM 网关能否套用到自己的部署里。
kvelmurugan18 在 GitHub 开源 sycophancy-rl，一个通过多轮受控反驳的强化学习来降低 LLM 谄媚行为的可复现管线，奖励抵抗无效施压同时保留对有效更正的接受。管线支持导入用户数据集、4-bit QLoRA/GRPO 训练、同条件前后基准与配对统计对比，首发实验注册 Qwen/Qwen2.5-0.5B-Instruct，可在本地 GPU 容器或 Kaggle GPU 内核运行；仓库未声称任何训练提升，首个 Kaggle smoke 实验仍需操作者执行，代码采用 Apache-2.0 协议。
推荐理由：这是一个可复现的完整管线，从数据导入到训练前后的配对基准对比都有明确契约，适合关注谄媚行为微调的读者参考。
开发者 Ivan Savchenko 在 GitHub 开源 Tally，一个面向业务用户的 text-to-SQL 分析 Agent，可自动找表、写 SQL、经 sqlglot 验证与 EXPLAIN 成本检查后以只读角色执行，并自纠错误、对模糊问题追问。在 237,125 行的合成数据库 117 题评测中，nvidia/nemotron-3-super-120b-a12b:free 执行准确率 82.0%（修复两个 bug 后 87.6%），15 个危险请求 0 个执行成功，语义层消融显示去掉后准确率从 84.4% 降到 28.1%。项目支持 OpenRouter、Qwen Cloud、OpenAI、Anthropic 等 provider，含可复跑的评测脚本、审计日志与 MIT 许可。
推荐理由：作者完整公开了防写库、防泄露个人数据的多层设计与全部评测数据，还给出语义层消融等可复跑方法，适合想搭 text-to-SQL 智能体的读者参考。
HatriGt 发布 agent-sandbox，把编程任务委派给运行在 microsandbox microVM（libkrun/KVM）中的自主 Agent，支持托管或五分钟自托管，兼容 Cursor、Claude Code、Codex、VS Code、Windsurf、Zed、Cline 等 MCP 客户端。每个运行独享 KVM guest 内核，fork 炸弹或 rm -rf 终止于 VM 边界；ask 工具可在不暂停主 Agent 的情况下启动只读副 Agent 解读日志和 diff，PreToolUse 钩子强制 Agent 提问后停止，并以确定性守卫钩子拒绝凭据外泄和控制面篡改。GitHub 凭据按仓库动态解析，密钥仅按步注入、不落盘，Web 仪表盘可从手机启动运行、回答问题和销毁沙箱。
推荐理由：原文给出了每个任务跑独立 KVM microVM 的隔离设计、防提示注入的确定性钩子和完整部署路径，做 Agent 沙箱可参考。
paooxide 发布 agentctl，一个 MCP 服务器，提供 124 个工具、12 类能力，让 MCP 客户端（Claude Code、Claude Desktop、Cursor、Gemini）通过读取系统无障碍树而非截图坐标来操作 GUI 应用、Chromium 浏览器和底层系统。桌面控制支持 macOS（AXUIElement）和 Linux（AT-SPI、GNOME on Wayland）。
推荐理由：作者本人开源的 MCP 服务器，把策略层作为安全边界讲解，读者可借鉴其桌面控制与分级权限的设计思路。
PeterGreenAppliedAI 在 GitHub 开源了 DevMesh LLM Gateway，一个自托管的安全与治理网关，为 Ollama、vLLM、OpenAI 等推理后端提供统一 API、鉴权、完整审计日志和按 key 的限流与 token 预算。安全层包括同步正则检测（约 1ms）和异步守卫模型（Granite Guardian 或 Llama Guard）扫描，不阻塞请求、零延迟；PII 检测覆盖邮箱、美国电话号、SSN、信用卡和 IP，审计日志只存 SHA-256 哈希，不保存原始 PII。守卫模型与正则的分歧可在控制台标注，并导出为 Llama Guard 微调格式形成训练闭环。
推荐理由：原文详述了自托管 LLM 网关的同步正则加异步守卫模型双层防御和闭环训练数据的做法，可作同类安全治理部署的参考。
coilyco 发布 mcp-beaver，一个 MCP server 生成器：写一条 grant 即得到一个工具，umbra 从路径自动推导输入 schema，examples/forgejo-issues.mcp.kdl 用 5 条 grant 构成完整 Forgejo 示例。同一 guardfile 可呈现为 MCP server、HTTP 工具 API、MCP App 和 helm release 四种形态，支持 serve、serve-upstream、serve-ssm、serve-s3 四种模式，结果以 coverage 字段打头声明各数组长度以防模型把截断数据当作完整视图，MIT 协议，提供 macOS/Linux 静态二进制与 OCI 镜像加 helm chart。
推荐理由：原文展示了用 guardfile 声明授权即生成 MCP server 的完整做法，覆盖部署、鉴权边界与 coverage 输出设计，可直接复用于 Agent 工具暴露。
作者在 3x RTX 4090 环境下完成替换型 LoRA 后门的权重空间可检测性先导实验，触发计划的中止条件。只在层 8/18/28 探测时 AUC 仅 0.58–0.69，但全 36 层扫描发现层 31 和 33 可近乎完美检出，C3a 在层 31 的 AUC 达 0.996；机制上检测性取决于 ΔW 抑制既有强关联所需改动量而非行为变化大小。48 包 watchlist 检测器在不知 payload 的情况下于 10/10 适配器中恢复出 requests，行为上最隐蔽的 C4p（ASR 100%、代码与正确答案逐字节相同）在权重空间同样可检出，稀释（共学习体量）才是真正削弱痕迹的维度。
推荐理由：这份实验记录给出了分层扫描与检测器对照数据，说明替换型 LoRA 后门在行为上隐蔽却在权重空间更易检测。
NotASithLord 在 GitHub 开源了 peerd，一个完全运行在 Chrome 和 Firefox 内部的通用 Agent 运行时，基于 Workers、OPFS、WASM/WASI、WebRTC、WebAuthn 等浏览器原语，Agent 可读取和驱动用户标签页、已登录会话与 Web 应用，并提供脚本、WASI 工具、App 和 Linux WebVM 等本地计算。推理可选用托管模型、localhost 本地模型或初步的 WebGPU 本地模型，无需账号、托管浏览器或工具服务器，当前构建不发送产品遥测；主 Agent 将页面工作委派给按环境隔离的无密钥 actor，凭证与网络策略留在扩展内，项目附带威胁模型、红队测试套件及各测试通道徽章，Apache License 2.0 授权。
推荐理由：把 Agent 运行时直接架在浏览器沙箱原语上，并公开威胁模型与红队结果，读者可借此理解浏览器内本地 Agent 的安全设计思路。
Veto 仓库开源，可将现有 OpenAPI 服务转为 AI Agent 可搜索和调用的工具，由 Veto 检查策略、对破坏性调用要求人工审批并先行解析凭据，再执行 API。模型通过 search、describe、invoke 三个能力访问服务，支持 MCP、`veto serve --` 的 JSON lines，破坏性删除在获批前不发起上游 HTTP，trace 会隐去密钥；安装支持 brew 和 go install，项目处于 1.0 前阶段，公开 API 可能变动。
推荐理由：原文讲清了如何给 Agent 的 API 调用加策略审批与凭据管控，包括破坏性操作挂起等可复用的机制细节。
wang29a 在 GitHub 发布 grill-me，一个每轮只问一个问题的 Agent Skill，用于攻击用户已成形的主张而非给建议，支持设计、学习、决策三种模式。核心机制包括不许安慰、不接受模糊答案、先分类原话推断假设再开口，结束产物将严重度与置信度分开列出。Skill 是一个 SKILL.md 文件，可装入 Claude Code 或 DSH 的 skills 目录使用。
推荐理由：作者公开了拷问式 Agent Skill 的完整机制与迭代中被打回的教训，读者可以直接安装复用并借鉴证据标注做法。
GitHub 开源工具 agent-inspect 发布，把 TypeScript AI Agent 的运行记录转成本地 JSONL 执行树、确定性轨迹检查和可离线验证的 Evidence v2，无需账号、collector 或默认上传。支持 view/check/bundle 等 CLI 命令与 LangChain、LangGraph、AI SDK、OpenAI Agents JS 适配器，当前版本 6.31.16，要求 Node.js >=20，采用 MIT 许可，trace 默认只记元数据并默认启用写入时脱敏。
推荐理由：原文讲清了从本地 trace 采集、CI 轨迹检查到离线证据分享的完整用法，读者可以照着把它接进自己的 TypeScript Agent 工作流。
ouuna 在 GitHub 开源 llm-eval-quality，一套面向 RAG/LLM 应用的自动化测试与质量门禁框架，把输出质量变成可自动判定指标，在质量退化时拦截版本。核心包括声明级幻觉检测（变异检出率 95.3%）、4 层 13 条规则的质量门禁、基线退化检测与阈值校准工具，评测用例合计 74 条，Gold Set 30 条人工复核后 Accuracy 96.7%、Recall 100.0%。框架分层解耦数据集、Provider、评测器、统计层与门禁，CI 拆为 test/evaluation/regression 三档 Workflow，运行依赖 0 个第三方库。
推荐理由：项目给出了评测器自身的混淆矩阵、变异检出率和已知盲区，还写明 Gold Set 循环论证等局限，边界交代得比较少见地诚实。
tsaarni 在 GitHub 发布 Gravelpit，一个面向 Linux 上 LLM 编程 Agent 的沙箱，目标是让 Agent 几乎无需逐条命令确认即可工作。工具通过 seccomp 的 SECCOMP_RET_USER_NOTIF 拦截 open() 和 connect() 系统调用，由监督进程用 process_vm_readv 读取参数并按 CEL 策略规则允许或拒绝，拒绝时向 Agent 的 stderr 输出解释并记录全部操作。作者明确说明它不是硬安全边界，存在 SECCOMP_RET_USER_NOTIF 固有的 TOCTOU 竞态，且允许 docker 意味着 Agent 可提权到 root。
推荐理由：原文讲清了用 seccomp 拦截 open 与 connect 系统调用、CEL 规则判定和缓存机制，也如实列出 TOCTOU 竞态等局限，读者可自行评估适用场景。
voodootikigod 在 GitHub 发布 adversarial-review，一个针对 git diff 的怀疑式代码审查工具，用任意 LLM（Anthropic / OpenAI / Gemini API 或 claude / codex / agy 等本地 CLI）找出变更不应上线的最强理由，输出结构化 JSON 报告。退出码由 findings 的严重度和置信度阈值确定性推导，git 采集失败时 fail closed 退出 1，可直接接入 CI 和 pre-push hooks；支持 --providers 多提供商家族交叉审查与 quorum 门控、--loop 自主审查修复循环，以及 --input 审查 spec 等工件而非 diff。
推荐理由：原文完整说明了这个对抗式代码审查工具的门控机制与多模型交叉审查用法，适合关注 CI 安全门禁的开发者参考。
Bounty Operator 开源发布，面向漏洞赏金猎人和智能合约审计者，在提交报告前以 triager 视角反驳草稿发现，每条论断绑定文件与行号，并给出 submit、rewrite-then-submit、prove-first、hold-duplicate 或 drop 五种结论。工具可在浏览器、通过 MCP（Claude Code、Codex、Cursor 等）或 CLI 运行，支持 OpenRouter、Anthropic、OpenAI、Gemini、xAI、DeepSeek、Mistral、Groq 等自有 API key，不存储文件与密钥。
推荐理由：原文给出完整的部署方式、审查配置与定价细节，读者可以按自己的环境选择浏览器、MCP 或 CLI 三种用法。
o3willard-AI 在 GitHub 发布 PairAdmin，一个集成本地 shell、SSH 与远程 Windows（WinRM）的标签页终端，AI 助手可读取当前终端内容但无任何执行接口，命令建议仅以 Save/Copy/Execute 三按钮的文本呈现。发送给模型前先做进程内凭据脱敏，覆盖 AWS、GitHub、OpenAI 等 15 类内置模式并支持自定义 regex，API 密钥经 memguard 加密存储于 OS keychain，支持 OpenAI、Anthropic、Ollama、LM Studio、OpenRouter 可切换，全部提示与响应写入本地 JSONL 审计日志。
推荐理由：这款终端把 AI 建议限定为文本加三个按钮，凭据先脱敏再传输，安全设计的取舍写得具体可查。