内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
fahrellgiovanny 发布 epistemic-policy-divergence 基准，测试大语言模型是否采纳注入会话历史的假前提，覆盖5种攻击协议、10个知识域和3个模型族。结果显示 GPT-5.4 Mini 在500个会话中从未采纳假前提（0%），Gemini-3.1 Flash-Lite 在指令覆盖下采纳率达94.0%，GLM-4.5-Air 抵抗系统注入权威（15.8%）但服从指令覆盖（84.2%）。自动裁判经120轮人工金标准验证（Track 1 κ=1.000）。论文见 arXiv:2609.35308，配套仓库与完整复现 RUNBOOK.md 已开放，MIT 许可。
推荐理由：同一假前提在不同模型上的采纳率从0%到94%，作者据此主张会话历史应被视为不可信攻击面并给出部署建议。
PerryLink 在官方仓库发布 dsh-auto-review，为 DeepSeek Harness 审批链加入一个只读 reviewer 子代理，由第二模型对越过沙箱边界的操作给出 {decision, reason, riskLevel} 结构化判定，默认 fail-closed，人无需逐项批准。插件经 cordis.yml 配置每工具 ai/human/never 策略与正则风险规则，拒绝理由回注给调用模型，配套拒绝熔断、会话日志审计、Web 审查面板和 /auto-review 命令；还附带 YAML 驱动的 dsh-eval 回归评测引擎和一个无模型的确定性 stdio MCP 服务器，兼容 dsh-v0.2.1-alpha.1，Apache-2.0 许可。
推荐理由：README 详述了用第二个只读模型在审批链上做 allow/deny 判定的设计，fail-closed、审计与防注入边界都有交代，可作 Agent 审批自动化的参考实现。
Insomniac-VibeLabs 在 GitHub 发布 Two-Key 原型，这是一个 AI Agent 授权层：语言模型只能提出动作，动作需同时通过确定性策略 VM（Path A，只读结构化字段、无提示词可注入）和 AI 评审员法定人数（Path B，支持 xAI、Anthropic、Gemini、Ollama 等本地或云端模型）双重批准才能调用工具。批准的动作获得默认 30 秒、单次使用的短期能力 token，所有决策写入带 Merkle 树的防篡改签名账本，可选 DLP/杀毒扫描钩子与面向企业的 PKI、Hyperledger Fabric 锚定和 SIEM 上报。密码学采用 Ed25519、ECDSA P-384 及 ML-DSA-65 混合后量子套件。
推荐理由：这份 README 详细展开了双密钥授权层的设计思路和部署路径，读者可以了解如何在模型之外为 Agent 动作建立可审计的授权机制。
GitHub 开源项目 AbdulAlharbi/exec-advisor 发布，一套多智能体 AI 高管顾问：五个专家智能体由 Chief of Staff 编排，读取财报、会议纪要、事故日志等来源，产出含风险、机会、假设与建议的高管简报。每条主张必须携带程序在源文本中逐字确认的引文，只可质疑不可新增发现的 Contrarian 智能体审查每项结论，变化检测由 diff 按键或标题相似度计算而非询问模型。推理可插拔，支持 Claude（Anthropic Messages API）或确定性规则大脑，后者使全部 42 个测试可离线在约 1.16 秒内跑完；管线经 GitHub Actions 定时运行并发布到 GitHub Pages，审计日志用 SHA-256 哈希链防篡改。
推荐理由：该项目用代码级子串校验和只减不加的质疑智能体约束多智能体简报，提供了可复用的防幻觉管线设计。
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由：原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
benthic-io 在 GitHub 发布 benthic-mcp，一个面向签名 Benthic Data Provenance 数据集的只读 MCP 服务器，暴露 benthic_discover、benthic_playbook、benthic_query 等 6 个工具，并通过 Ed25519 签名、RFC 8785 规范化 JSON 与 SHA-256 哈希验证目录，只提供签名清单允许的关系、join 路径和 RPC 白名单。
推荐理由：原文给出了一套以签名清单和可证伪契约取代统计 A/B 的 Agent 工具评测方法，含失败归因和实测数字，可迁移到其他 MCP 项目。
SilvioCorreiaFilho 发布了 mcp-tool-connector，一个纯标准库的 Python 包，解决 Agent 挂载约 100 个 MCP 工具时的上下文膨胀、单工具故障拖垮会话和重复调用三大问题。核心组件包括 ToolCatalog.select_for_role() 按角色在 token 预算内切片工具目录、IsolatedCaller 把工具异常转为可读结果并带超时与熔断器、IdempotencyCache 仅对只读工具做 TTL 去重。离线 95 工具演示中按角色切片节省 66% schema 上下文；对真实 Scrapling MCP 服务器（13 工具）从约 14.3k schema token 降到约 3.1k，减少 78%。
推荐理由：原文给出按角色切片、故障隔离与幂等去重三个机制及实测省下的 token 数据，方法可直接迁移到自己的 Agent 部署。
开源工具 vigiles 发布，用于验证 Claude Code 的 CLAUDE.md、skills、subagents 和 hooks 是否真实存在且实际生效，同样支持 Codex 的 AGENTS.md。npx vigiles audit 一条命令按六类标准给出 A–F 评级，覆盖引用失效、skill 冲突、工具契约错误、数据泄露风险等，lint 可作为 CI 门禁；test 用脚本替身驱动模型验证 hook 拦截和 skill 触发，eval 在用户自己的 Claude 订阅上 A/B 实测 harness 改动的 token 成本与正确性，示例中 Caveman Mode 宣称省 65% token，实测输出仅低 6%。
推荐理由：开源工具把 CLAUDE.md、skills 和 hooks 从格式检查推进到真实性验证，并用 A/B 实测数据检验 token 节省等宣传数字。
论文首次系统研究大语言模型投机解码的安全影响，大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来，越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD，理论分析认为安全退化主要源于 draft 模型生成的早期 token，并对早期解码位置采用更严格的验证标准；实验显示其在保持效率与效用的同时显著提升安全性。论文共18页，被 IEEE S&P 2027 接收。
推荐理由：论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象，并给出针对早期token的可行验证改进方法。
论文提出 AdvSim2Real，在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent，应对页面上的自适应提示词注入。在 150 个 web 任务上，训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%，且能力提升可迁移到真实浏览器。
推荐理由：论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化，给出了对抗未见前沿模型攻击的具体数字。
gunwadev 发布 crossverify，一个 Claude Code 插件，在构建代理结束一轮后由 Stop hook 调用不同厂商的 Codex（默认模型 gpt-5.4，只读沙箱）核查其声称完成的工作，将声明拆为原子命题逐条验证。自 2026-05-04 实机运行至 2026-07-22，114 个会话中 817 次验证、4777 条原子声明中 276 条失败，约 1/4 的轮次经不起独立核查。工具默认关闭、默认后台、fail-open，零依赖、无构建步骤，支持 tamper lock 防止代理自行关闭审计，Windows 目前需 WSL。
推荐理由：作者给出实机运行统计和防篡改、fail-open 等设计取舍，读作交叉验证工具的机制与边界参考。
futureman19 在 GitHub 发布开源项目 dogfood-wallet，一个本地 BSV 智能体金库：LLM 通过 MCP 工具请求付款，本机 signer 负责授权，模型永远接触不到密钥。默认限额为 10,000 sats/tx、50,000 sats/天，allowlist 为空且仅限人类添加收款地址，kill 命令写入 STOP_SPENDING 文件停用；作者明确该项目不是托管钱包，也非 HTTP 402 商户通道，v0.1 之后计划支持 BRC-181 钱包强制策略与 BRC-0204 链上额度。
推荐理由：作者给出了密钥隔离、允许清单和多级限额的具体架构，读者可据此评估让智能体自主付款的安全边界设计。
CertaMesh 开源的 Gaze 工具在文本发给 AI 模型前把个人敏感信息换成占位符，模型回复再由服务器本地 manifest 还原，目标是泄漏到模型的 PII 字节为零。v0.15 基准测得字符级 F2 0.868、泄漏 13,319 PII 字节，与 Presidio、DataFog、scrubadub、GLiNER、OPF 对比；支持 CLI、Rust 库、OpenAI/Anthropic API 代理和 Claude Code 等 MCP 主机，Apache-2.0 OR MIT 双许可，manifest 不离开用户服务器，缺失模型或未知规则时直接中止运行。
推荐理由：原文给出与 Presidio 等五款工具的泄漏字节数对比和完整方法细节，读者可据此评估这套可逆 PII 假名化方案是否适配自己的部署栈。
论文提出 SIGMA，一种仅需 Model Spec 即可让模型自我改进安全对齐的数据生成与训练流程，通过 spec 引导任务合成和基于 rubric 的强化学习完成。尽管只在单轮对话数据上训练，SIGMA 在多轮智能体环境中将 AgentHarm 有害性从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8，优于 Deliberative Alignment 和 Constitutional AI 基线，且保留通用能力。
推荐理由：原文给出了仅凭 Model Spec 进行对齐自我改进的流程和 AgentHarm、Agentic Misalignment 前后数字，可与外部监督方法的局限对照阅读。
作者 Erik Hill 在 GitHub 开源 model-drift，一个 LLM 可观测性看板：冻结测试集按计划对 17 个在线模型每日各跑 35 个任务、每模型 3 次取中值，追踪准确率、速度、冗长度、可靠性与拒绝率五个指标，约 1,800 次调用每晚成本仅几美分。35 个任务全部由确定性评分器（精确匹配、子串、正则、数值比较）机械打分，温度设为 0（拒绝该参数的模型除外）；可靠性低于 50% 的运行不计入准确率点，identity.py 通过回显的模型 id 检测别名或路由降级。
推荐理由：作者详细说明了确定性评分器、可靠性指标与三次取中值等设计，读者可以据此评估漂移追踪工具如何区分真实回归与采样噪声。
RamazanKara 在 GitHub 发布 private-ai-platform-kit v0.29.0，为 Kubernetes 提供自托管 LLM 网关、RAG 和编码 Agent 工作区，兼容 OpenAI 与 Anthropic API，模型可跑在 Ollama 或 vLLM 上。每次模型调用和 Agent 动作都会生成 SHA-256 哈希链审计凭据，可离线验证篡改；Agent 沙箱默认拒绝出网，提示词中的密钥在到达模型前即被拦截。配套论文的基准显示完整治理路径中位数仅增加约 0.3 ms，可用 Docker Compose 在五分钟内试用，Apache-2.0 许可。
推荐理由：原文给出治理路径的开销实测约 0.3 ms 中位数，以及五分钟 Docker 验证流程，便于平台团队自行评估这套自托管方案是否适用。
作者开源了 CaMeL（Debenedetti et al., 2025，Defeating Prompt Injections by Design）的从零实现，用 Bun + TypeScript 和 AWS Bedrock 上的 Claude 编写，仓库包含完整 run guide 和 TUTORIAL.md。项目按 step0 到 step6 及 e1/e2 分步演示：从朴素工具调用循环被 subtle 攻击泄露，到解释器、Dual-LLM、能力标注逐层加固，最终 STRICT 模式下安全策略阻断攻击，另含侧信道、银行转账完整性策略和标签跨会话存活等扩展示例；离线脚本确定性免费，在线脚本调用真实 LLM。
推荐理由：作者从零实现了 CaMeL 防提示词注入设计，每步都给出可复现的运行脚本和攻击前后对照，便于读者理解隔离与策略如何逐步生效。
DustyStudy 在 GitHub 开源 ai-agent-security-toolkit，包含四个模块：agentsec.fuzzer 用 25 种载荷 x 10 种混淆 x 2 种投递方式共 500 个用例做提示词注入测试并以 canary 机制评分。
推荐理由：原文给出四个模块的具体机制和模拟器数据，说明工具策略与输出校验能把误用、外泄和提示词泄漏压到零。
irfanahmed0019 在 GitHub 发布 prompt-injection-guardrail，一个检测发往 LLM 文本中提示词注入尝试的轻量 FastAPI 服务，带 CI 与 Dockerfile。模型基于 deepset/prompt-injections 数据集（546 训练、116 测试，英德文）训练，词加字符 TF-IDF 线性 SVM 在留出测试集上精确率 1.0、召回率 0.85、F1 0.919、ROC-AUC 0.977；作者说明测试集小、会漏检超短或德语表述的注入，定位为第一道防线而非完整安全方案。
推荐理由：作者给出了基于 deepset 数据集的完整训练与测试指标，包括精确率 1.0、召回率 0.85，并坦承小样本与漏检局限。
Nextron-Labs 在 GitHub 发布 THOR finding 分诊基准，用 10 份 THOR 报告中 189 条专家分类的发现评测 81 个完整模型，按分类质量与运营实用性对比人类专家基准。按部署档位给出画像冠军：gemini-3.7-flash 以 0.0% Critical Miss 领跑高安全与均衡 SOC 画像，qwen3.6-max 以 22.7% False Review Load 领跑降噪画像但有 12.7% 漏报；开源消费级硬件档由 gemma4-31b 与 qwen3.6-27b 领跑。评测不使用外部工具与模型专属提示词，结果强调没有单一最优模型，需按漏报风险、审阅负载、成本与部署约束选择。
推荐理由：THOR 官方发布的域内分诊评测，按部署档位给出画像冠军而非单一总榜，为安全运营选型提供了可复用的权衡框架。