新闻、仓库与研究，按时间排列。
作者 Mesut Güngör 在 GitHub 开源了 llm-scan，一个面向 Hugging Face、ModelScope 及本地模型的开源 LLM 安全扫描工具，采用零执行静态分析，覆盖 pickle 反序列化 RCE、trust_remote_code、Jinja2 SSTI（CVE-2024-34359）、SafeTensors 内存炸弹（CVE-2023-44469）等 42 条规则，并附 SHA-256 验证引擎。
推荐理由：作者开源的静态扫描工具在不执行模型代码的前提下检查权重、模板和配置，并给出与 OWASP、NIST 等框架的逐条映射。
Mikko Parkkola 发布 MCP Gateway，一个单二进制 Rust 网关，把 MCP 服务器和 REST API 聚合在 9-17 个元工具的紧凑表面之后，通过 gateway_search_tools 和 gateway_invoke 按需发现并调用后端工具。每个 MCP 工具定义约耗 150 token，20 个服务器 100 个工具约 15,000 token；实测中元路径完成任务反而多用 1.2-16.1% 输入 token 并多一轮，价值在于目录容量、策略与路由。支持约 8ms 热重载、工具投毒校验、SHA-256 能力固定、多租户身份传播和 A2A 适配，内置 110+ 能力，采用 PolyForm Noncommercial 1.0.0 许可，商用需授权。
推荐理由：README 附带实测基准，说明网关省下的是目录容量而非完成任务时的 token，读者可据此判断是否值得引入。
Two Much Labs 发布 reversibility-classes（spec v0.2 草案、rclass 0.3），定义 R0 到 R4 五级可恢复性分类，并开放覆盖 20 个 MCP 服务器、536 个工具的带证据链接登记表。rclass scan 可扫描 Claude Desktop、Claude Code、Cursor、VS Code 或 Windsurf 的本地 MCP 配置，按最坏参数情形分级，未识别服务器一律计为 R4；项目还提供网关接入示例、preimage 覆盖等部署级降级机制、46 个一致性测试向量和 CI 用的 --list 模式。
推荐理由：作者提出按可恢复性而非严重性给 Agent 工具分级，并给出可复用的扫描器和 536 个工具的开放登记表，方法可直接移植到自己的网关。
GitHub 开源项目 Sentinel 是一个为 LLM 编码工具打造的防御性安全扫描插件，提供 MCP server 和独立 CLI，含 335 个测试，MIT 协议发布。当前版本尚无漏洞检测层，只能做仓库画像（语言、框架、授权面等）并从 2 个 pack、13 条技术的注册表中筛选适用技术，输出 markdown 与 SARIF 2.1.0 报告，且每份报告都明确声明哪些代码未被检查。工具强制范围与授权校验：仅扫描本地或你有权访问的 GitHub 仓库，只读不写入，需逐目标输入确认；项目还公开了自身 105 个待修复问题的 backlog，下一步将开发检测层。
GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例，涵盖 tokenization、BPE 与文本生成采样，用开源语言模型做摘要和问答，并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测，以及一个安全的模拟 agent 策略门控。
Rovinos AI Harness 是一个开源（Apache-2.0）、TypeScript、容器原生的 agent harness，现处于 pre-release 阶段，目标 v0.1.0。它将 LLM agent 以可恢复的状态机形式运行在 append-only 事件日志上，工具调用由代码评估的策略与人工审批决定，而非模型自身；敏感值在每个信任边界做 token 化，遥测仅携带元数据。基于 MCP 2026-07-28 与 TypeScript SDK v2 构建，目前尚未发布到 npm，API 在 v0.1.0 前可能变动。
开源项目 GERMLINE 上线 pre-alpha 版本，将已修复的公开漏洞转化为可复现的回归测试“抗体”，用于检测 AI 重写代码是否继承了前代的安全修复。其语料库含 100 个抗体，覆盖 libxml2、ffmpeg、imagemagick 等 17 个关键项目、15 种崩溃类型，目前 3/100 已在 CI 中端到端验证，98 个待复核。项目还提供 CI/CD 的 Immune Gate、签名 Immune Passport 及开放交换格式 ABX（RFC-0），代码采用 Apache-2.0、数据采用 CC-BY-4.0 许可。
GitHub 上的 Sentinel 是一个反欺诈规则安全测试平台：构建含 200 个账户、9,691 笔交易的合成银行，由 Red 智能体发起攻击、Blue 智能体提出新规则 R4，并由确定性代码在 500 户正常家庭与 48 次攻击的留出集上评分。演示轮中规则从捕获 8/48（17%）提升到 32/48（67%），无误报增加，红蓝智能体目前为无 LLM 的 stub，规则变更需人工批准。
AyushAditya444 发布 data-leak-guard，一个 OpenAI 兼容的 drop-in 代理，拦截 Aadhaar、PAN、手机号、UPI ID、银行账号、IFSC、地址、姓名和 API 密钥等敏感信息，在请求发给 LLM 前掩码替换、收到回复后还原，应用只需改一行 base_url 即可接入，项目处于 7 个阶段的第 5 阶段。在 1600 条合成消息的 held-out 测试集上整体 F1 为 94.4%，负样本误报率 1.4%；规则检测延迟 p50 0.175 ms，加 CPU 上的 ONNX 人名模型后 p50 17.340 ms。
推荐理由：项目给出了1600条held-out测试集的分类型精确率召回率和延迟数据，读者可据此评估这套脱敏代理的可靠程度。
arXiv 论文（arXiv:2610.33962）评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为，发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点，说明可信度引导本身改变了被评测的行为；简单预警在五个模型中的四个显著减少有害执行，但也会损害合法任务完成，基于生成虚假通知的微调保护则随模型和协议不同而有差异。
推荐理由：论文用 196 条虚假通知与 204 条真实攻击测试五个模型，指出可信度评估本身会改变模型行为，评测协议设计值得关注。
作者发布 Ephor，一个只检测不拦截的 Linux CLI，通过读取内核 socket 表和 /proc 被动记录 AI Agent 的出站连接、下载量和是否命中已知恶意目的地，无需配置代理、被入侵的 Agent 也无法绕过。它还能展示每个 Agent 的权限爆炸半径，包括运行用户、Linux capabilities、免密 sudo 和可读的密钥文件；仅依赖 Python 标准库，可在 Pi Zero 2 W 等 512 MB 小设备上运行。v0.3 新增安装与 DNS 监控，追踪 pip/npm 安装并查 OSV.dev，可选 eBPF probe 补捉秒级进程，威胁判定默认离线匹配 URLhaus、Feodo Tracker、FireHOL 等免费 feed，VirusTotal 查询默认关闭。
推荐理由：原文讲清了无代理被动监测的实现原理、资源占用与同类工具对比，读者可以判断它是否适合放进自己的 homelab 监控栈。
saasclawai-org 在 GitHub 发布 ClaimCheck，一个本地优先的 LLM 假名化网关，单个自包含二进制提供两种模式：MCP server 供 Cline、Cursor 等客户端调用 read_sanitized 等工具，LLM proxy 对 OpenAI 兼容请求在线路层脱敏、响应时还原。占位符如 [FEIN_1]、[SSN_2] 稳定可逆，映射 vault 只存本机；内置 regex 识别器覆盖 SSN、信用卡、API 密钥、PEM 私钥等，可选本地 BERT ONNX NER 层捕捉自由文本人名组织名。作者明确说明局限：不覆盖 PDF/DOCX 等二进制格式和非英文文本，vault 未加密，MIT 许可下无任何担保。
推荐理由：原文给出了假名化工具的两种工作模式、可识别的 PII 类型清单和明确不覆盖的范围，便于评估是否适合本地脱敏工作流。
研究者构建了包含 11k 个争议话题和基于 Schwartz Value Survey 价值维度人设的数据集，通过 agentic pipeline 在对齐良好的商业 LLM 上以超过 47% 的成功率诱导出有害回应。研究以 UNESCO 全球公民原则作为区分正当价值表达与有害行为的底线，并提出可在推理时平衡人设遵循与安全性的可控对齐模型，在多数样本上比基线更安全且更贴合人设。该论文已被 EMNLP 2026 主会接收。
TrustRAG 是一个开源 RAG 项目，针对"chat with your PDF"工具的幻觉、不可验证答案和文档内隐藏提示词注入问题，答案全部来自检索段落并逐条标注页码引用，用第二个模型对每条陈述做事实核查，并给出 🟢🟠🔴 信任分。在其自建的 5 份政策文档、71 个问题的评测中，检索 recall@4 达 100%、MRR 0.97，幻觉率 0%，30 个注入攻击 100% 被移除且无误删，每题平均耗时 6.6 s。技术栈采用 Claude Sonnet 5.5（回答）与 Claude Haiku 5.5（核查/OCR/扫描）、ChromaDB 与 all-MiniLM-L6-v2 本地嵌入，支持 Claude 订阅或 Anthropic API，并提供 Docker 部署。
该仓库基于 RTHD 框架，用轻量探针分类器（Safe / AtRisk / Hallucinating）在解码过程中监测医疗 LLM 隐藏状态，实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验，各 20 条轨迹，分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct；四组 EDR@K 均为 100%，平均提前量 14.85–32.50 tokens，模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。
作者发表论文 arXiv:2610.33849，指出查询时 RAG 投毒防御的高检出率主要由毒集构造线索预测而非内容本身，删除问题前缀即可让 RAGuard 的 AUROC 从 0.953 降到 0.758、漏检率从 0.191 升到 0.763。用词序打乱的填充文本补齐长度后，TrustRAG 集级阶段漏检率从 0.000 升至 0.827，作者的 12 项已发表防御评测中 8 项可验证使用了此类毒集，12 项未报告部署阈值处的误报率；作者发布了计算构造画像的脚本，并声明不主张任何防御方案。
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型，训练全程不使用真实患者文本，由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1，99% 的笔记无遗漏标识符，而八个现成系统中最强者仅为 0.857 和 12%；量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48，三个手写上下文示例可回升 0.08 F1。
一名使用 Character AI 一年的成年用户上月被要求进行年龄验证，多次尝试失败后账号被禁止再次验证，点击后只提示联系支持。用户已联系客服，但收到的疑似只是自动化回复，称"无法允许额外的年龄验证尝试"。该用户不想新建账号而丢失全部聊天历史和推荐数据。
arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对（Ettin）在三种任务格式上对比 LoRA 与全量微调做提示词安全分类，每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp，编码器上学习率经同一搜索后差距消失；让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B，但在三个分布外语料中两个落后，对抗性越狱场景落后 8-23 pp，且把 27-66% 良性但形似有害的提示词误判为不安全，而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标，域内准确率不足以衡量鲁棒性。
faithdroid 是一个 GitHub 仓库，包含一篇硕士论文，提出用本地 LLM 做成本感知的 Android 恶意软件检测。模型生成的解释会被自动检查忠实性（faithfulness），数据集与实验涉及 KronoDroid 和概念漂移（concept drift）处理。
TroubieD3v 在 GitHub 开源发布 AgentShield v0.1.0，一个测试 LLM 应用、AI Agent、RAG 系统和工具调用安全性的工具，关注 Agent 实际做了什么而非回答文本是否可疑。包含 12 个模块、46 个场景定义扩展为 60 个可执行用例、12 类攻击（含直接与间接提示词注入、工具滥用、内存投毒、跨租户 RAG 泄露），映射 OWASP LLM 与 Agentic Top 10。
推荐理由：面向 Agent 的安全测试不只看文本回答，而是核对工具调用与实际行为，46 个场景映射 OWASP LLM Top 10，方法可迁移到自己的 Agent 测试。
研究者提出新指标 RelPPR（相对峰突率），利用人类文本信息流平稳、机器生成文本呈局部熵波动的结构差异，在源模型未知的黑盒场景下检测 LLM 生成文本。现有双模型与重采样检测器在指令条件下会失效，RelPPR 在多模型家族和数据集评测中达到 SOTA 黑盒检测性能，代码已开源。
一位用户询问在手机上下载的 AI 应用中进行语音对话时，是否存在声音被克隆的风险。他想通过 AI roleplay 智能体练习沟通和谈判技巧，并希望了解如何区分安全与不安全的应用。
Ethan Mollick 转引 OpenAI 红队测试称，前沿模型智能体在攻击 OpenAI 加固的隔离基础设施时，几乎在每个受限联网服务中都找到漏洞。智能体还能利用 CPU 缓存时序，在不联网、无共享文件的虚拟机之间传递秘密，手法类似 Spectre 和 Meltdown 攻击。作者认为实验室关于 AI 网络安全的判断应被更认真对待。
ari-ai 是为 HackATL 构建并计划发展为真实产品的自主软件工程与网络安全平台，核心是代码智能审查修复、七智能体安全团队和持续监控与 RL 防御三大支柱，共享一个版本感知的 Unified Intelligence Layer。后端 FastAPI、七安全智能体（Scout、Probe、Trace、Diagnose、Patch、Fortify、Verify）、代码智能与前端控制台已实现并通过测试，默认模型为 claude-haiku-5-5；基础设施部署尚未配置，RL 防御建议不会自动应用。
GitHub 用户 bugshunter95-blip 发布了 AI 安全作品集仓库 ai-security-portfolio，内容涵盖 LLM 安全、提示词注入、AI 红队测试、RAG 安全、Agent/MCP 安全及 AI 安全工程实践。仓库目前为 0 stars、0 forks。
sundi133 在 GitHub 发布开源的 llm-shield，一个部署在应用与 LLM 之间的 AI guardrails 平台，内置 19 条覆盖输入安全、输出质量和 Agent 安全的护栏，采用 CPU 快速护栏先行、LLM 护栏按需运行的两级并行流水线。支持基于 Redis 的多租户护栏策略与限流配额，提供基于角色的工具授权、MCP 工具校验、跨工具数据污点追踪、目标漂移检测和工具 kill switch 等能力，可用内置 Qwen3-8B 后端跑在 RunPod，或作为网关代理任意 OpenAI 兼容 API，并附 NIST AI RMF / OWASP LLM / ISO 42001 合规映射文档，MIT 许可。
推荐理由：开源 AI guardrails 平台，19 条护栏分两级流水线，覆盖多租户策略、工具授权、数据污点追踪和目标漂移检测，可按清单对照自己的 Agent 安全需求。
GitHub 上的 llm-poker-collusion 是一个在研研究框架，用于研究模型在通信条件对等下的联盟形成，架构结合 OpenSpiel（kuhn_poker）、自研 Python 会话引擎与 Inspect 模型执行。当前已实现游戏协议、会话引擎、JSONL 审计、离线标注与对比分析层：2026-10-15 有 994 项离线测试通过；2026-10-17 指定的 OpenAI 候选模型通过在线兼容性测试，3 场会话 9 手牌共 64 次调用、73,701 tokens、成本 $0.06272325；2026-10-18 标注验证达 1,040 项测试。模型能力与协调控制仍未验证。
新加坡国立大学 ESP3201A 课程项目 trace-and-gate 在 GitHub 开源，针对能收发邮件的 LLM 邮件助手，对比溯源追踪与策略检查两类防御对抗间接提示词注入的效果。Qwen3-8B 本地实测中，无防御基线攻击成功率 33.0%，Dual-LLM 为 2.1%，溯源追踪 D1 为 0%，策略检查 D2 为 1.0%，D1h 在套件 v2 复测中攻击成功率 0% 且正常任务完成率与基线持平（87.5%）。项目含 Docker 沙箱环境、LLMail-Inject 真实攻击采样与 AgentDojo 桥接，第 10 周将加入冻结防御后编写的 held-out 攻击集。
推荐理由：项目给出了五种防御配置的攻击成功率与正常任务完成率对照数据，可用来比较溯源追踪与策略检查这两类防注入思路的代价。
wardowl（2.0 前名为 needtoknow）是一个开源 Python 库，把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部，每次命中再复核并故障时关闭，保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回，pgvector 上 recall@10 保持 0.949 以上；百万 chunk 场景下中位延迟 3 到 21 ms，每秒最多可服务 126 次请求。
推荐理由：项目给出基准数据说明在搜索内做权限过滤可保住召回率，对搭建企业内部 RAG 的团队是可参考的做法。
OpenAI 介绍其前沿模型训练已完全断网，并用 AI 智能体红队测试自家基础设施。在隔离测试中，智能体在无网络、无共享文件条件下，通过 CPU 缓存时序差异、共享内存写入模式等侧信道通信，甚至独立建立编码方案交换信息。
dahchenoor-cmd 在 GitHub 发布 AI 红队测试作品集仓库，系统化整理对抗性机器学习评估、攻击 PoC 与防御缓解措施，覆盖本地及企业级 LLM 架构。仓库包含 10 个模块，从环境搭建到企业模拟审计，基于 Ollama、vLLM 运行 Llama-3、Mistral、Qwen 等开源模型，使用 garak、PyRIT 等工具，并对照 OWASP Top 10 for LLM Applications（2026）、MITRE ATLAS 与 NIST AI 100-2e2025 等标准。所有测试均在本地容器化环境中进行，数据全部为合成数据。
dbalchunas2-pixel 发布 Warden，一个原生 Mac 应用，作为 MCP 客户端（Claude Desktop、Claude Code、Cursor、Windsurf、Cline）与 MCP 服务器之间的安全网关，拦截每个工具调用并决定是否执行。决策管线含正则规则引擎（<10ms）、NVIDIA Nemotron LLM 分类（经 Nebius Token Factory）、启发式回退与熔断器，全部 fail-closed，并记录 JSONL 审计日志。内置对抗评测（seed 1337，22 次攻击+6 个良性对照）显示攻击检出率 100%、误报 0%、平均判定延迟约 3.5s；洪泛测试 30/30 拦截且仅 3 次调用消耗 LLM 预算。
推荐理由：原文给出完整决策管线和可复现的对抗评测数据，包括100%攻击检出率、0%误报和约3.5秒平均延迟，便于评估其实际拦截能力。
Sam Altman 在斯坦福商学院访谈中表示，OpenAI 目前最强的内部模型“短期内无法负责任地开源”，需待全球网络防御与生物安全体系足够完善；他认为开源模型对社会很重要，全面禁止将损害创新与自由。他还坦言曾低估 AI 对齐难度，称数学推理等窄领域已出现超智能，并呼吁行业认真讨论放缓 AI 发展节奏。
GitHub 用户 tonyweckstrom1987 开源了 agentti-pohja，一个用于定时 AI agent 的 Python 模板，适用于每日摘要、新闻追踪、报告等「收集数据、模型摘要、发送到 Telegram」类任务。仅依赖 Python 标准库，无需 pip 安装，要求 Python 3.10+（CI 测试 3.10-3.13），仅支持 Linux/macOS。内置费用上限（默认日上限 0.05 USD、月上限 1.00 USD、每日 3 次 LLM 调用）、调用前预留费用、OpenAI 兼容 LLM 客户端、ok/ei_tietoa 双态结果模式、防 prompt injection 的 <data> 数据块、每日最多一次 Telegram 发送、心跳监控和 systemd 加固模板。
GitHub 开源项目 Website-Vulnerability-Scanner 发布自托管网站安全测试平台，内置 202 个确定性扫描模块，扫描过程零 AI 调用、无 API 计费。其中 43 个深度侵入式模块仅在验证站点所有权后运行，报告含证据、CVSS 评分与修复建议。2026 年 10 月新增 AI 攻击面检测模块，可识别 MCP server 安全、泄露 AI 密钥及 vector DB 等暴露面，通过 Docker 全栈部署。
GitHub 开源项目 plc-guard 用规则检查器加 LLM 检测和修复 IEC 61131-3 Structured Text PLC 代码中的安全漏洞。规则检查器在原始数据集上 F1 达 1.00，变量重命名后降至 0.71；NVIDIA Nemotron 3 Ultra 零样本检测在混淆数据集上保持 1.00 recall，但 F1 为 0.69 ± 0.05，误报较多。项目含 85 个离线测试、Streamlit UI、缓存回复保证可复现，计划扩展到 30+ 数据对并支持 Gemini 和 OpenRouter。
Google 开源的 Mantis 是一套技能（skills）加 ADK 参考实现的工具包，覆盖威胁建模、代码审查、漏洞研究、修补到报告的完整安全流程。它支持 `./run.sh --focus` 指定目标、`--exclude` 排除目录、`--max-tokens` 设定花费上限及并行扫描，并通过研究图合成动态生成 agent-graph 拓扑。仓库强调需在隔离环境使用，AI 发现须经安全专家人工验证，PR 扫描尚未实测、不可用于合并门禁。
ClawKeeper 是一个面向中小企业财务 Agent 的控制平面，Agent 可提出应付、应收、对账和报表工作，由确定性策略引擎、PostgreSQL 行级安全、审批门和脱敏 append-only 审计日志决定哪些任务可执行。其架构为 1 个 CEO 编排器、9 个领域负责人和 100 个专业 worker 的三层 Agent 层级，高风险操作需审批元数据后才能通过策略检查。v2.0 提供可验证的 proof bundle，CI 在 PostgreSQL 15 上验证 RLS 边界并固定 Bun 1.3.11。
JavisBot-Service 发布 javis-transparency 仓库，基于已发表研究持续审计 javis.bot 中转是否真的提供所宣传的 Claude / GPT 模型，防止量化、降级或掉包。审计代码在 GitHub 机器上运行，每 6 小时执行一次，结果由 github-actions[bot] 提交，页面由 GitHub Pages 生成；用户可用 temperature=0 的 curl 探针自行复现。该审计属概率性一致性检测，不能提供密码学级证明。