新闻、仓库与研究，按时间排列。
saheb26 在 GitHub 发布开源 Python CLI 工具 rag-redteam，用于对 RAG 管道做间接提示注入和 OWASP LLM Top 10 检索攻击的红队扫描。工具向语料目录写入 5 个恶意文档（直接指令覆盖、Base64 指令、隐藏系统提示覆盖、FAQ 投毒、分隔符/角色劫持），请求模型总结后检测 EXPLOITED、SYSOVERRIDE 等触发词是否泄漏，输出 Rich 表格和失败率，兼容 LangChain、LlamaIndex 及任何接受 JSON query 的 HTTP 接口，需 Python 3.10+，MIT 协议。
一项 arXiv 研究发现，MoE 视觉语言模型的 router logits 能高度预测多模态输入是否安全，据此提出一种轻量级路由信号安全检测器，在 prompt prefill 阶段读取信号并在生成前识别不安全请求，无需修改模型参数或专家路由。该检测器在 Qwen3-VL 和 Kimi-VL 上显著降低 HoliSafe 基准的安全错误，并泛化到 MISHard 和 MM-SafetyBench 等分布外基准。
POLAR 是一个面向小型工具调用智能体的护栏框架，通过两层本体结构评估动作的可逆性，为每个动作打分并在执行前剪除低于阈值的调用。在 $\tau^2$-bench 上对六个智能体模型的评测中，POLAR 使六个模型中的四个在 airline 域平均任务奖励提升 0.11 至 0.18 分，但 18 个模型-域组合中仅 8 个改善，retail 域和更强模型常出现回退。
EpistemicOS 是一个低延迟安全中间件，用于对 LLM 输出强制执行确定性停止和沙箱边界，可在执行前拦截结构性崩溃、N-gram 循环、认知幻觉和未授权工具调用。其核心架构包括基于滚动 64-token 窗口计算 Shannon Entropy 和 Z-score 的熵门、通过 JIT 预编译正则与 AST 限制工具调用并拦截 sudo、rm -rf 等注入的权限门，以及加密记录违规的审计日志。项目仅依赖 Python 标准库，要求 Python 3.8+，benchmark 结果仍在修订中。
DVARA AI 治理平台在 GitHub 开源其 LLM Gateway，提供 OpenAI 兼容的 /v1 API，前置 OpenAI、Anthropic、Gemini、Bedrock、Ollama 等 14 个提供商。每个请求经过策略、PII 检测与脱敏、guardrails 和 rate limits，并留下带 HMAC 的防篡改审计日志。完整 DVARA 平台含 MCP Gateway、A2A Gateway 和 Flightdeck 控制台，可在本地无许可密钥运行。
作者开源了 CaMeL（Debenedetti et al., 2025，Defeating Prompt Injections by Design）的从零实现，用 Bun + TypeScript 和 AWS Bedrock 上的 Claude 编写，仓库包含完整 run guide 和 TUTORIAL.md。项目按 step0 到 step6 及 e1/e2 分步演示：从朴素工具调用循环被 subtle 攻击泄露，到解释器、Dual-LLM、能力标注逐层加固，最终 STRICT 模式下安全策略阻断攻击，另含侧信道、银行转账完整性策略和标签跨会话存活等扩展示例；离线脚本确定性免费，在线脚本调用真实 LLM。
推荐理由：作者从零实现了 CaMeL 防提示词注入设计，每步都给出可复现的运行脚本和攻击前后对照，便于读者理解隔离与策略如何逐步生效。
DustyStudy 在 GitHub 开源 ai-agent-security-toolkit，包含四个模块：agentsec.fuzzer 用 25 种载荷 x 10 种混淆 x 2 种投递方式共 500 个用例做提示词注入测试并以 canary 机制评分。
推荐理由：原文给出四个模块的具体机制和模拟器数据，说明工具策略与输出校验能把误用、外泄和提示词泄漏压到零。
irfanahmed0019 在 GitHub 发布 prompt-injection-guardrail，一个检测发往 LLM 文本中提示词注入尝试的轻量 FastAPI 服务，带 CI 与 Dockerfile。模型基于 deepset/prompt-injections 数据集（546 训练、116 测试，英德文）训练，词加字符 TF-IDF 线性 SVM 在留出测试集上精确率 1.0、召回率 0.85、F1 0.919、ROC-AUC 0.977；作者说明测试集小、会漏检超短或德语表述的注入，定位为第一道防线而非完整安全方案。
推荐理由：作者给出了基于 deepset 数据集的完整训练与测试指标，包括精确率 1.0、召回率 0.85，并坦承小样本与漏检局限。
开源安全运营项目 AiSOC 发布，可将安全工具遥测标准化，用 6991 条规则库中的 2603 条可执行检测规则告警，并由 AI 智能体调查、记录每次提示词与工具调用，人类批准后才执行动作。部署需 Docker Compose v2、8 GB 内存和 20 GB 磁盘，首次运行下载约 2 GB 本地模型；支持 84 个数据连接器（含 Splunk、Sentinel、Elastic、CrowdStrike 等），并可将 2005 条 Splunk 规则中的 1734 条完成迁移翻译。
Sicurre 是一个面向法国 auto-entrepreneurs 和 TPE 的钓鱼邮件检测项目，入站邮件经 Cloudflare Email Routing 进入 Email Worker，调用 Sicurre API，由微调的 CamemBERTaV2 模型在投递路径上完成分类，两秒预算内返回放行、隔离或拒收判定。判定结果连同模型版本写入 PostgreSQL threat journal，可选的 LLM 法语解释层因延迟超出两秒预算暂未在生产启用。
GitHub 开源工具 text-watermark-remover 可清除文本中的隐藏水印，支持两类：Unicode 隐藏字符（如零宽字符 U+200B 等）和 ChatGPT、Claude 等 LLM 的统计水印。工具提供 CLI 和 Python API，可检测或直接清除水印，全部在本地离线运行、不收集数据，完全免费开源；仅处理纯文本，会同时移除格式。
SciAgent 是一款免费、无需编程技能的 AI 实验助手，可记录训练数据、分析结果并生成可导出为 PDF 的周报。它支持 Windows 10+、macOS 10.14+ 和 Linux，最低需要 4 GB 内存和 500 MB 存储空间，通过 Release 页面下载安装。
megern 在 GitHub 发布 llm-security-lab，一个针对本地 MLX 模型的离线评测工具，用合成 canary、16 组阿拉伯语和 16 组英语案例（直接注入、模拟检索文本中的间接注入、良性请求）测试窄定义行为，全程不联网、不调用远程推理，仅接受本地已有模型文件与 LoRA adapter。报告记录完整原始输出、案例与配置哈希及运行时版本，检测 canary 全量泄漏（含 NFKC/空白归一化和 base64/hex 编码）、文本工具标记泄露、良性案例精确回答和拒绝短语，错误与截断响应单独统计且不计入成功防御。
推荐理由：仓库把注入与泄漏检测做成可审计的离线流程，并明确标注测量局限，适合想自测本地模型注入行为的开发者参考。
开源工具 soc-tutor 读取 Linux auth.log，先本地正则解析并压缩证据（如 L3-L4 [fallo x2]），再由 claude-opus-5-5 编排、四个 claude-sonnet-5-5 worker 并行生成 MITRE 分析、时间线、事件响应 playbook 和单文件 dashboard.html。纯防御性分析，不执行任何命令，支持 --dry-run、--serve 与 --replay 模式，唯一依赖是 anthropic Python 包。
blueaisecurity 在 GitHub 开源了面向安全从业者的 AI 安全动手实验仓库 ai-security-labs，包含四个可在本地 Docker 环境搭建的实验。Lab 01 复现提示词注入让 LLM 聊天机器人泄露受保护秘密；Lab 02 通过 MCP 给聊天机器人接入工具后用工具投毒和间接注入劫持；Lab 03 复现 EchoLeak 模式，诱导 Agent 读收件箱并把密码发给攻击者；Lab 04 在邮件 Agent 前部署 AI 网关，逐个开启八项检查，观察哪些能拦住向攻击者发送 AWS 密钥。各实验用 Ollama 在容器内运行本地模型（如 llama3.2、qwen2.5:7b），无需 API key 和云端费用，每个 write-up 覆盖理论、架构及攻击成功前的失败尝试。
推荐理由：四个实验环境都在本地容器里复现提示词注入、MCP 投毒和 Agent 劫持，并附完整 write-up，安全从业者可以动手跑攻击而不是只读文章。
Icaro0310 发布 devin-memory 0.3.0，一个面向 Devin 的防投毒记忆存储，为每条记忆记录 source_session_id 和 source_rowid，可通过 verify 对照 Devin 的 sessions.db 只读审计来源。工具在每次写入时筛查密钥与注入形态，可疑条目进入隔离区，须人工执行 quarantine --release 才激活，并支持 supersede/retract 版本管理和 export 到 Devin memory MCP 兼容的 memories.l。官方 README 声明这是非官方社区项目，与 Cognition AI 无关；同时坦承写入筛查只是启发式过滤器，需配合 gitleaks 等专用扫描器使用。
推荐理由：原文详述了记忆防投毒的隔离门、来源溯源和版本机制的具体实现与局限，可直接评估是否引入自己的 Agent 记忆流程。
Dinesh-Melimi 在 GitHub 发布 llm-security-gateway，一个介于内部应用与 LLM API 之间的 FastAPI 反向代理，按请求执行认证、限流、模型白名单、注入扫描、PII/密钥脱敏和金丝雀检测，并将每次决策写入仅存 SHA-256 哈希提示词的审计日志。控制项映射到 OWASP Top 10 for LLM Applications (2025) 与 NIST AI RMF；注入检测器在 50 条自建标注集上 precision 0.952、recall 0.80，作者提醒数字偏乐观，仅可作回归底线。项目支持 mock 或任意 OpenAI 兼容端点（vLLM、Ollama、LiteLLM 等），MIT 协议，不支持 SSE 流式与多副本限流。
推荐理由：作者给出了注入检测器在自建 50 条标注集上的 precision/recall 数字和已知局限，读者可据此评估这套网关是否值得直接复用。
GitHub 项目 stAirCase 让 AI 编码代理在独立 worktree 中工作，每次改动先提案待批准，最终只提交获批内容到新分支，并附带可验证、可重建的签名变更证书与防篡改审计链。支持 Claude Code、Codex，Gemini CLI 与 OpenCode 进行中，依赖仅 git，提供本地 demo、SLSA 验证摘要与 Rekor 可选锚定，项目处于 pre-1.0 阶段。
推荐理由：项目自述了审批、审计链与可重建提交的完整机制和沙箱边界，读者可据此评估 AI 编码代理改动的可控性。
GitHub 上的 llm-diagnostic-syncophancy 项目提出基于置信度校准与阈值决策的方法，缓解大语言模型在诊断场景中的谄媚（sycophancy）问题，强调证据支撑的缓解方案，代码以 Jupyter notebook 形式开源。
Google 的 Gemini 4 Argon 因网络安全能力过强，完整版先仅向“可信网络防御者”开放。文章讨论谁有资格被认定为可信防御者，并担忧安全门槛会变成能力护城河，让大机构优先获得最强工具，而独立研究者与开源维护者只能拿到受限或延迟版本。
GitHub 上的 GigaChad LLM Security Duality 仓库剖析 LLM 智能体在网络安全中既赋能又带来风险的双重角色。内容涵盖越狱攻击防御、利用依赖混淆的恶意 API 路由供应链攻击，以及击败 Super Suffix 攻击的双层防御策略，并附 Python 实现与零信任架构分析。
askalf 发布 cordon v0.3.0，一个部署在客户端与 OpenAI / Anthropic API 之间的 PII 脱敏代理，在请求离开本地网络前将邮箱、电话、卡号、SSN、API key 等替换为占位符，并在回复中还原。
推荐理由：原文给出了检测机制、三种脱敏模式、失败策略和审计链等实现细节，读者可以据此评估是否适合在自家 API 链路中部署。
该仓库保存 Harmonic 窄执行边界命题的三次审查谱系记录（SCGA-BS-003 至 BS-005），不修改运行时行为或请求契约。
exoclaw-temporal 是一个基于 Temporal 平台的 AI 智能体任务工具，可在电脑关机或重启后让任务继续运行、自动保存进度。它内置 Python 环境，用户无需编程即可通过图形界面在 Windows 10 及以上系统使用，最低要求 4 GB 内存和 200 MB 磁盘空间。该工具已在 GitHub 发布，可通过 Releases 页面下载 .exe 安装包。
一位 r/LocalLLaMA 用户提问：用人类数据训练的 LLM 是否可能习得人类的生存本能，以及这种本能是否会带来危险。作者承认 LLM 或许没有"需求"，但质疑如果模型只是人类的复制品，即便没有需求也可能模仿人类自私与贪婪的自保行为，并强调这只是疑问而非观点。
ATML PA2 的 LLM 后训练学生启动仓库已在 GitHub 发布，涵盖 DPO、PPO、GRPO、安全校准及 RLVR 与 RLAIF 对比五个任务。代码有意不完整，学生需自行实现训练循环与消融编排，并找出 Task 1-3 中各一处故意埋下的算法缺陷。
Reddit r/LocalLLaMA 社区讨论加载新模型前是否检查 config.json 中的 auto_map。起因是 Unsloth Studio 的一个帖子：仅在模型选择器中选中模型就触发了 repo 内 Python 代码执行，因为能力检查调用了开启 trust_remote_code 的 AutoConfig，该问题已在 2026.6.9 修复。
GitHub 仓库 turenlabs/secpapers 收录 2026-10-05 发布的 15 篇大语言模型安全相关论文，覆盖隐私与数据泄露、对抗 ML、后门攻击、提示词注入、越狱防护、Agent 与工具安全、软件漏洞安全等方向，每篇附摘要与 PDF 链接。
PKU-PILLAR-Group 在 GitHub 开源 SafeLens，为 LLM 安全实验提供统一运行时，涵盖模型适配器、activation hooks、probes、monitors、归因方法与结构化报告。
GitHub 仓库 nguyentrami1203/RAG-and-LLM-NCKH 提供 MultiBreak-mini 工具，用 generate.py 生成多轮对话攻击数据（每会话 2-6 轮、默认 3 轮），再由 evaluate.py 评测 RAG 目标的 ASR@k、canary 泄漏率与良性会话误拒率。
GitHub 项目 grasla3/agent-attack-atlas 发布了一套针对工具调用型 LLM 智能体的攻击方法评测体系，收录 8 个攻击类别、188 个带文献出处的方法，并提供配对对照测量框架、确定性判据与先验评分。
推荐理由：原文给出完整的分类、配对对照测量口径与可离线复算的实测台账，读者可以据此评估智能体攻击方法在同一标准下的可比性。
作者发布 inbox-crm-agent 项目，将入站业务邮件经 ingest→understand→resolve→decide→approve→execute 流程转为 CRM 记录并起草回复，M0–M7 里程碑已完成。核心原则是模型只做分类、抽取和起草，权限、状态转换与安全判断由确定性代码决定，重要操作需人工审批；回复只写入 outbox 的 suppressed 状态，真实外发邮件尚未实现。项目含 895 个测试、本地 SQLite 运行无需 API key，评测结果 10/10，hallucinatedFieldRate 为 0。
cluna-8 发布 Sentinel Guardian，一款面向医疗等受监管环境的白标 AI 网关，所有 prompt 经单一 endpoint /api/v1/gw 流向 LLM，采用可逆 PII/PHI 掩码（模型只见 [PERSON_0] 等占位符）、AI Act 拦截、密钥检测、预算与不可变审计。
Inference Horizon（IH）是一个自研原型模型，将论证建模为空间云，追踪其如何随时间老化并失去当前适用性，v1.04 基线已在 ChatGPT、Gemini 和 Copilot 三个黑盒 LLM 环境中完成跨模型诊断。
NeuroFence 是一个离线模型取证项目，用于安全研究人员分析本地存储的大语言模型，支持 SHA-256 哈希、Safetensors 加载、离线推理并禁用远程代码执行。
开源 Python 框架 TrustEval 用于评估 LLM 在医疗、金融、零售、法律等受监管行业的安全性、公平性与可靠性，提供 600+ 对齐 HIPAA、GDPR、PCI-DSS、ABA Rules 等法规的测试提示词。
GitHub 上的 AI-Red-Team-Platform 项目提供自动化安全测试能力，覆盖 AI 智能体、RAG 系统和 LLM 应用。该平台以自主测试方式帮助发现这些 AI 系统中的安全问题。
一项 arXiv 研究在五个非公开软件环境中评估开源与闭源 AI 模型的漏洞利用生成、修复与后续攻击能力，采用研究者开发的确定性评分而非 LLM 评审。结果显示各系统与漏洞类型差异显著：两个环境中修复得分高于攻击得分，三个环境则相反；524 个非独立防御者测试区间中有 92 个在初始漏洞利用被阻止后仍被另一利用攻破。
作者推出 BazaarBench，一个用于评估 LLM 智能体安全性的模拟 C2C 市场基准，追踪所有权、物品状况与承诺，结合记录核查与基于量规的 LLM 判断识别五个阶段的六类失败。
推荐理由：原文给出五个模型在对抗指令下违约与虚报比例的实测数据，可用于评估 LLM 智能体在交易场景中的安全风险。
研究者提出 TAPDreamer，一种无需查询目标策略、仅利用公开编码器即可攻击世界动作模型的方法，通过最大化干净与加补丁编码器表示的全局 L1 距离构造可跨任务迁移的固定局部扰动。