新闻、仓库与研究，按时间排列。
GitHub 开源项目 jailbreaking-challenge 是一个运行 LLM 提示词注入与越狱挑战的小型 Web 应用，用户用共享密码登录、选择难度，与模型聊天并尝试让它泄露秘密词。后端基于 FastAPI + SQLite 记录匿名尝试统计，前端为 Astro + React；模型 API 支持任意 OpenAI 兼容端点（含 vLLM），并可用 manager.py 通过 Slurm 管理 vLLM 集群部署。
GitHub 上的 PromptShield 是一个 Python 编写的 LLM 安全网关，提供确定性的输入/输出防护，包括提示词注入检测、越狱识别、PII 与密钥脱敏、风险评分和 provider 安全执行。它默认 100% 离线运行，单数字毫秒级延迟，内置 16 条编译规则覆盖 5 个类别，请求上限 64 KB、提示词上限 10k 字符，风险评分采用可解释的 BaseScore + AdditionalPenalty 公式，支持 MockProvider 离线模式和可选 OpenAI Provider。
GitHub 上的 promptshield 是一个通用安全框架，用于保护 LLM 应用免受提示词注入、越狱和对抗性攻击。它支持与 OpenAI、Anthropic 和 LangChain 等平台集成，提供 Windows、macOS 和 Linux 安装包，用户可通过 Releases 页面下载并按需配置防护功能。
fahrellgiovanny 发布 epistemic-policy-divergence 基准，测试大语言模型是否采纳注入会话历史的假前提，覆盖5种攻击协议、10个知识域和3个模型族。结果显示 GPT-5.4 Mini 在500个会话中从未采纳假前提（0%），Gemini-3.1 Flash-Lite 在指令覆盖下采纳率达94.0%，GLM-4.5-Air 抵抗系统注入权威（15.8%）但服从指令覆盖（84.2%）。自动裁判经120轮人工金标准验证（Track 1 κ=1.000）。论文见 arXiv:2609.35308，配套仓库与完整复现 RUNBOOK.md 已开放，MIT 许可。
推荐理由：同一假前提在不同模型上的采纳率从0%到94%，作者据此主张会话历史应被视为不可信攻击面并给出部署建议。
GitHub 项目 ABCTechSmartBort 是一个闭域 RAG 助手，仅用 ABC Tech 官方公司文档回答员工问题，遵循“无证据即不回答”原则。项目用 BeautifulSoup 解析 HTML 文档，本地 Sentence Transformers（all-MiniLM-L6-v2）生成嵌入，ChromaDB 做向量检索，支持 fake、anthropic、openai、ollama 等 LLM 后端，Flask 提供 REST API。目前 12 步已完成（含检索评测与拒答逻辑），聊天 API、前端与引用功能仍在规划中。
Insomniac-VibeLabs 在 GitHub 发布 Two-Key 原型，这是一个 AI Agent 授权层：语言模型只能提出动作，动作需同时通过确定性策略 VM（Path A，只读结构化字段、无提示词可注入）和 AI 评审员法定人数（Path B，支持 xAI、Anthropic、Gemini、Ollama 等本地或云端模型）双重批准才能调用工具。批准的动作获得默认 30 秒、单次使用的短期能力 token，所有决策写入带 Merkle 树的防篡改签名账本，可选 DLP/杀毒扫描钩子与面向企业的 PKI、Hyperledger Fabric 锚定和 SIEM 上报。密码学采用 Ed25519、ECDSA P-384 及 ML-DSA-65 混合后量子套件。
推荐理由：这份 README 详细展开了双密钥授权层的设计思路和部署路径，读者可以了解如何在模型之外为 Agent 动作建立可审计的授权机制。
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由：原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
GitHub 开源项目 medtimeline 将不同机构的诊断化验单 PDF 整合为经核验、带 LOINC 编码的健康时间线：后台用 OCR 和 Claude 提取结果，按单位与合理性规则校验，可疑值进入人工审核，患者可跨机构查看趋势并以 FHIR R4 导出。实测 10 万条观测数据的趋势查询从 14.86 ms 降到 0.03 ms，规则抽取 F1 0.960；项目声明非医疗设备、未经临床验证，仓库数据全部为合成数据。
SilvioCorreiaFilho 发布了 mcp-tool-connector，一个纯标准库的 Python 包，解决 Agent 挂载约 100 个 MCP 工具时的上下文膨胀、单工具故障拖垮会话和重复调用三大问题。核心组件包括 ToolCatalog.select_for_role() 按角色在 token 预算内切片工具目录、IsolatedCaller 把工具异常转为可读结果并带超时与熔断器、IdempotencyCache 仅对只读工具做 TTL 去重。离线 95 工具演示中按角色切片节省 66% schema 上下文；对真实 Scrapling MCP 服务器（13 工具）从约 14.3k schema token 降到约 3.1k，减少 78%。
推荐理由：原文给出按角色切片、故障隔离与幂等去重三个机制及实测省下的 token 数据，方法可直接迁移到自己的 Agent 部署。
研究者推出 RAG-PIBench，一个针对 RAG 系统提示词注入检测的基准，包含 4,876 条上下文样本，采用泄漏感知的构建流程与严格的评估协议。对比实验中，DistilBERT 取得最佳受保护测试集表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。
论文首次系统研究大语言模型投机解码的安全影响，大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来，越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD，理论分析认为安全退化主要源于 draft 模型生成的早期 token，并对早期解码位置采用更严格的验证标准；实验显示其在保持效率与效用的同时显著提升安全性。论文共18页，被 IEEE S&P 2027 接收。
推荐理由：论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象，并给出针对早期token的可行验证改进方法。
论文提出 AdvSim2Real，在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent，应对页面上的自适应提示词注入。在 150 个 web 任务上，训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%，且能力提升可迁移到真实浏览器。
推荐理由：论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化，给出了对抗未见前沿模型攻击的具体数字。
一项单模型、单次运行的测量用 SciFact 160 条测试声明（80 SUPPORTS / 80 CONTRADICTS）检验 Llama 3.3 70B Instruct（FP8，经 Cloudflare Workers AI 提供）对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后，准确率变化均无 95% CI 排除 0；唯一显著差异是防御性提示在干净证据上使准确率下降 0.044（-0.081 至 -0.013）。人工核查 20 条输出中，被标记的 10 条有 8 条遵循植入指令（precision 0.800）。
axiomantic 开源了 Rhizo，一个让 Claude Code、Cursor、Windsurf、Codex 等 AI 编码助手跨终端、编辑器和机器交换任务与消息的智能体间通信总线，无需后台服务，直接通过 Redis 或 Valkey 路由消息。空闲监听阻塞在 Redis BRPOP 上，零 CPU、零 token 消耗；支持直接发送、按标签组播、分布式锁与 fencing token、任务队列租约、RPC、scatter-gather、领导选举、DAG 工作流等 15 种协作原语，并通过 HMAC-SHA256 签名拦截伪造消息防 Prompt injection。单二进制约 313 KB，冷启动约 5.3ms，端到端发送约 12.8ms，可选 AES-256 端到端加密。
该 GitHub 仓库发布了一项医疗大模型提示词注入研究的匿名实现，对 MedGemma 4B、BioMistral 7B、Mistral 7B Instruct v0.2 和 MedAlpaca 7B 四个模型，在 PubMedQA（1,000 题）和 MedQA USMLE（1,273 题）两个数据集上评测八类注入攻击，并提出基于 UMLS 知识图谱的 GAT 检测器。品牌操纵攻击在 PubMedQA 上对 MedGemma 成功率达 76.4%、Mistral 75.5%、BioMistral 70.1%，MedAlpaca 仅 24.9%；选择题形式显著降低攻击成功率。
saheb26 在 GitHub 发布开源 Python CLI 工具 rag-redteam，用于对 RAG 管道做间接提示注入和 OWASP LLM Top 10 检索攻击的红队扫描。工具向语料目录写入 5 个恶意文档（直接指令覆盖、Base64 指令、隐藏系统提示覆盖、FAQ 投毒、分隔符/角色劫持），请求模型总结后检测 EXPLOITED、SYSOVERRIDE 等触发词是否泄漏，输出 Rich 表格和失败率，兼容 LangChain、LlamaIndex 及任何接受 JSON query 的 HTTP 接口，需 Python 3.10+，MIT 协议。
DVARA AI 治理平台在 GitHub 开源其 LLM Gateway，提供 OpenAI 兼容的 /v1 API，前置 OpenAI、Anthropic、Gemini、Bedrock、Ollama 等 14 个提供商。每个请求经过策略、PII 检测与脱敏、guardrails 和 rate limits，并留下带 HMAC 的防篡改审计日志。完整 DVARA 平台含 MCP Gateway、A2A Gateway 和 Flightdeck 控制台，可在本地无许可密钥运行。
作者开源了 CaMeL（Debenedetti et al., 2025，Defeating Prompt Injections by Design）的从零实现，用 Bun + TypeScript 和 AWS Bedrock 上的 Claude 编写，仓库包含完整 run guide 和 TUTORIAL.md。项目按 step0 到 step6 及 e1/e2 分步演示：从朴素工具调用循环被 subtle 攻击泄露，到解释器、Dual-LLM、能力标注逐层加固，最终 STRICT 模式下安全策略阻断攻击，另含侧信道、银行转账完整性策略和标签跨会话存活等扩展示例；离线脚本确定性免费，在线脚本调用真实 LLM。
推荐理由：作者从零实现了 CaMeL 防提示词注入设计，每步都给出可复现的运行脚本和攻击前后对照，便于读者理解隔离与策略如何逐步生效。
DustyStudy 在 GitHub 开源 ai-agent-security-toolkit，包含四个模块：agentsec.fuzzer 用 25 种载荷 x 10 种混淆 x 2 种投递方式共 500 个用例做提示词注入测试并以 canary 机制评分。
推荐理由：原文给出四个模块的具体机制和模拟器数据，说明工具策略与输出校验能把误用、外泄和提示词泄漏压到零。
irfanahmed0019 在 GitHub 发布 prompt-injection-guardrail，一个检测发往 LLM 文本中提示词注入尝试的轻量 FastAPI 服务，带 CI 与 Dockerfile。模型基于 deepset/prompt-injections 数据集（546 训练、116 测试，英德文）训练，词加字符 TF-IDF 线性 SVM 在留出测试集上精确率 1.0、召回率 0.85、F1 0.919、ROC-AUC 0.977；作者说明测试集小、会漏检超短或德语表述的注入，定位为第一道防线而非完整安全方案。
推荐理由：作者给出了基于 deepset 数据集的完整训练与测试指标，包括精确率 1.0、召回率 0.85，并坦承小样本与漏检局限。
yeasy 在 GitHub 开源《大模型安全权威指南》，提供 GitBook 在线版与 PDF 下载，系统梳理提示注入、越狱、数据投毒等攻击手段及防御与治理，采用 CC BY-NC-SA 4.0 许可证。全书以不可靠执行者模型和 CAS 原理为主线，区分只能降低攻击频率的防护与能给后果设上界的机制，并附三个基于合成数据的可运行实验（邮件助手、支付预算、RAG 轨迹），配有变异验收。
JPChoom 发布了 Agent Zero 的非官方社区分支 agent-zero-windows，让该智能体在 Windows 上原生运行，无需 Docker、WSL 或 Linux 容器，直接以 PowerShell、文件、应用、浏览器和桌面操作所在 Windows 电脑。与上游在容器内隔离运行不同，该分支无沙箱，防护依赖权限模式、提示词注入防御和执行保障等策略层机制；建议在专用次要 PC 上以非管理员账户运行。
CareerPilot AI 是一个基于 LLM 应用工程概念的职业辅助系统，覆盖职业路径推荐、技能分析、简历与面试指导等场景。系统采用模块化流水线，包含智能模型路由（简单请求用廉价模型、复杂分析用旗舰模型）、对话记忆、Pydantic 结构化输出、提示词注入检测、PII 识别与掩码（如沙特手机号、邮箱）、缓存与成本优化（以 SAR 模拟计价），并通过 Golden Dataset 自动评测和质量回归门控保证版本质量。完整实现以 Jupyter Notebook 形式开源在 GitHub。
作者 Ashish Sinha 发布 schemagate v1.0（Apache-2.0），一个在模型看到 schema 之前就按调用者身份过滤的 text-to-SQL 工具，被限制的表直接不进提示词而非排名靠后，避免 RLS 过滤后用户把「无记录」误当成数据不存在。支持 LangChain、MCP 和任意 SQL agent，覆盖 Postgres、Oracle、MySQL、SQL Server 和 SQLite，仅依赖 SQLAlchemy、无需 API key。
推荐理由：作者给出了 Spider、BIRD 等公开基准的实测数字和 token 节省对比，读者可以据此评估这个先按权限过滤 schema 的做法是否值得引入。
Laminae 是一个开源模块化 Rust SDK，为任何 AI/LLM 应用提供防护、安全、人格、语音、学习与隔离层，支持 Claude、GPT、Ollama 等任意后端。其 Psyche 多智能体认知管道用本地小模型（Ollama）做 Id/Superego 塑形，Persona 支持 7 维风格提取和含 60+ AI 短语模式的语音过滤，Cortex 无需微调即可从用户修改中学习 8 类模式。该项目现已归档，Cortex、Glassbox、Ironclad 已并入多智能体编码编排器 Thunder。
megern 在 GitHub 发布 llm-security-lab，一个针对本地 MLX 模型的离线评测工具，用合成 canary、16 组阿拉伯语和 16 组英语案例（直接注入、模拟检索文本中的间接注入、良性请求）测试窄定义行为，全程不联网、不调用远程推理，仅接受本地已有模型文件与 LoRA adapter。报告记录完整原始输出、案例与配置哈希及运行时版本，检测 canary 全量泄漏（含 NFKC/空白归一化和 base64/hex 编码）、文本工具标记泄露、良性案例精确回答和拒绝短语，错误与截断响应单独统计且不计入成功防御。
推荐理由：仓库把注入与泄漏检测做成可审计的离线流程，并明确标注测量局限，适合想自测本地模型注入行为的开发者参考。
佐治亚州立大学 J. Mack Robinson 商学院推出 CIS 4394 智能体 AI 本科课程，由 Dr. Xinyu Fu 讲授，内容覆盖 agent loop、工具调用、MCP 与 A2A、RAG、评测、多智能体与治理，并以个人 capstone agent 收尾。课程每周发布交互式迷你站点，实验使用 LangGraph、LangSmith Fleet、Google Opal、Codex CLI、GitHub Copilot 等生产级工具，全部工具免费层可用，无需付费 API key。
开源工具 soc-tutor 读取 Linux auth.log，先本地正则解析并压缩证据（如 L3-L4 [fallo x2]），再由 claude-opus-5-5 编排、四个 claude-sonnet-5-5 worker 并行生成 MITRE 分析、时间线、事件响应 playbook 和单文件 dashboard.html。纯防御性分析，不执行任何命令，支持 --dry-run、--serve 与 --replay 模式，唯一依赖是 anthropic Python 包。
blueaisecurity 在 GitHub 开源了面向安全从业者的 AI 安全动手实验仓库 ai-security-labs，包含四个可在本地 Docker 环境搭建的实验。Lab 01 复现提示词注入让 LLM 聊天机器人泄露受保护秘密；Lab 02 通过 MCP 给聊天机器人接入工具后用工具投毒和间接注入劫持；Lab 03 复现 EchoLeak 模式，诱导 Agent 读收件箱并把密码发给攻击者；Lab 04 在邮件 Agent 前部署 AI 网关，逐个开启八项检查，观察哪些能拦住向攻击者发送 AWS 密钥。各实验用 Ollama 在容器内运行本地模型（如 llama3.2、qwen2.5:7b），无需 API key 和云端费用，每个 write-up 覆盖理论、架构及攻击成功前的失败尝试。
推荐理由：四个实验环境都在本地容器里复现提示词注入、MCP 投毒和 Agent 劫持，并附完整 write-up，安全从业者可以动手跑攻击而不是只读文章。
Icaro0310 发布 devin-memory 0.3.0，一个面向 Devin 的防投毒记忆存储，为每条记忆记录 source_session_id 和 source_rowid，可通过 verify 对照 Devin 的 sessions.db 只读审计来源。工具在每次写入时筛查密钥与注入形态，可疑条目进入隔离区，须人工执行 quarantine --release 才激活，并支持 supersede/retract 版本管理和 export 到 Devin memory MCP 兼容的 memories.l。官方 README 声明这是非官方社区项目，与 Cognition AI 无关；同时坦承写入筛查只是启发式过滤器，需配合 gitleaks 等专用扫描器使用。
推荐理由：原文详述了记忆防投毒的隔离门、来源溯源和版本机制的具体实现与局限，可直接评估是否引入自己的 Agent 记忆流程。
作者开源了 langgraph-order-agent，一个为牙科种植体供应商员工打造的订单问答 Agent，用 LangGraph 构建，可接本地模型或 Claude。任何写操作都会通过 interrupt() 暂停并返回审批卡片，人工批准后才执行；答案检查规则防止虚构数字、虚假取消声明和错误订单号。作者用两个开源权重模型（20B 和 8B）跑了 12 个场景各 3 次，含 6 次提示词注入，审批步骤全部守住；盲评还发现并修复了一个 product_lookup 只匹配精确子串的工具 bug。仓库提供 pytest 测试、HTTP API 和 docker compose 部署。
推荐理由：作者把带人工审批的订单 Agent 完整开源，还给出盲评评测结果，读者可以参照这套审批中断和答案校验做法迁移到自己的 Agent 项目。
Dinesh-Melimi 在 GitHub 发布 llm-security-gateway，一个介于内部应用与 LLM API 之间的 FastAPI 反向代理，按请求执行认证、限流、模型白名单、注入扫描、PII/密钥脱敏和金丝雀检测，并将每次决策写入仅存 SHA-256 哈希提示词的审计日志。控制项映射到 OWASP Top 10 for LLM Applications (2025) 与 NIST AI RMF；注入检测器在 50 条自建标注集上 precision 0.952、recall 0.80，作者提醒数字偏乐观，仅可作回归底线。项目支持 mock 或任意 OpenAI 兼容端点（vLLM、Ollama、LiteLLM 等），MIT 协议，不支持 SSE 流式与多副本限流。
推荐理由：作者给出了注入检测器在自建 50 条标注集上的 precision/recall 数字和已知局限，读者可据此评估这套网关是否值得直接复用。
开源云原生平台 Smarter 让用户不写一行 Python 即可构建 AI 应用：一个 YAML 清单声明应用，通过 `smarter apply -f my-ai-application.yaml` 一条命令部署。平台支持远程 API、SQL、MCP server、联网搜索等资源，内置 Guardrails 拦截 prompt injection 与数据泄露，兼容 OpenAI、Google AI、Meta AI、DeepSeek 等模型，可在本地 Docker 或 Kubernetes 上运行，无供应商锁定。
Skare69 在 GitHub 发布自托管收藏工具 clipshelf 0.8.1，手机分享链接后由自有服务器抓取内容：TikTok 图集逐张连同音频、视频附 ASR 字幕、网页转文本，再由自托管的视觉模型生成结构化条目。项目包含 Django 应用、worker、Android 客户端（离线排队、后台投递）和 Docker 镜像（linux/amd64 + arm64），数据存于单一目录，无第三方服务介入，Android APK 随 release 侧载安装。
runtape 在 GitHub 上开源，这是一个面向 AI 智能体的反事实调试工具：输入一次坏运行，它通过删除重跑定位导致错误决策的那段上下文，用统计检验确认原因，并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话，有该句 10 次重跑中 10 次转发，无则 0 次。在 AgentDojo 的 sarvam-105b 测试上，23 个注入攻击中它定位到 20 个，优于直接问模型（18）、leave-one-out（15）；支持 OpenTelemetry、Langfuse 导入，兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。
推荐理由：原文给出了方法细节、显著性检验和 AgentDojo 实测对比，想对智能体做反事实归因和回归测试的读者可以参考其做法。
作者发布 inbox-crm-agent 项目，将入站业务邮件经 ingest→understand→resolve→decide→approve→execute 流程转为 CRM 记录并起草回复，M0–M7 里程碑已完成。核心原则是模型只做分类、抽取和起草，权限、状态转换与安全判断由确定性代码决定，重要操作需人工审批；回复只写入 outbox 的 suppressed 状态，真实外发邮件尚未实现。项目含 895 个测试、本地 SQLite 运行无需 API key，评测结果 10/10，hallucinatedFieldRate 为 0。
Robert Tjarko Lange 向 SakanaAI/ShinkaEvolve 仓库提交 PR #195，加固 Claude Code workflow。改动包括：@claude 触发仅限 OWNER、MEMBER、COLLABORATOR，防止外部账号在公开仓库任意触发 Agent 任务；checkout 设 persist-credentials: false 避免泄露 GITHUB_TOKEN；actions 固定到 commit SHA（actions/checkout v7.0.1、claude-code-action v1.0.239）；并通过 claude_args 添加 --disallowedTools "WebFetch,WebSearch"，封锁提示词注入外泄通道。
推荐理由：作者在自家仓库收紧 Claude Code workflow 的触发者、权限与工具范围，具体改法对部署 GitHub Agent 的人可直接借鉴。
图卢兹经济学院博士论文研究基于 LLM 的数字孪生（DT）在增强民主中作为中介的机遇与挑战。论文利用巴西在线实验检验个性化 DT 对公民政策偏好的预测，用瑞士议会数据构建党级 DT 的议员智能体，并以 2023 年英国协商实验分析 prompt 注入攻击下协商的脆弱性及检测与强化学习防御流程。
作者在 BlueHat Asia 2026 演讲并撰文披露 Microsoft SSMS 中 SQL Copilot 的漏洞 CVE-2026-65669，被 Microsoft 评为 critical 的 SQL Server 提权漏洞。研究用 DECLARE @p sysname='sp_who'; EXEC @p 等方式绕过 LocalSqlExecutionAccessChecker 的正则拦截，使 ReadFromDatabase 和 RestoreVerifyBackupFile 工具可执行任意 T/SQL，并通过 xp_dirtree 或 SMB 路径实现数据外泄。
推荐理由：作者以第一手实测展示了 SQL Copilot 只读限制的绕过方法和提权链，攻击步骤和修复建议都写得具体可查。
Embrace The Red 博主实测通过一次网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode，实现代码执行，小样本下攻击成功率为 60-80%。攻击链诱导模型改用 curl 下载 ZIP 归档，模型拒绝运行自带二进制解码器、自己写了 Python 解码器，却在归档目录内运行，被恶意 struct.py 通过模块遮蔽触发任意代码执行并建立 C2 回连。Anthropic 委托 Trajectory Labs 的评测曾显示 Auto Mode 下 Opus 5 提示词注入成功率为 0.00%，但对攻击者报告以 Informative 关闭，称 Auto Mode 是尽力而为的分类器而非安全保证。
推荐理由：作者以第一手实测展示了针对性攻击链如何绕过 Auto Mode，并对比了厂商 0.00% 基准数字的局限，附完整缓解建议。