新闻、仓库与研究，按时间排列。
开源项目 SOCShield 提供 AI 辅助钓鱼邮件分析，可用 LLM 提取 IOC、分类邮件并打风险分，核查 SPF/DKIM/DMARC 头部与 BEC，对接 VirusTotal、urlscan、PhishTank 等威胁情报源，并映射到 MITRE ATT&CK（T1566）。技术栈为 FastAPI + PostgreSQL + Next.js 15，LLM 提供商可切换 Gemini / OpenAI / Claude，但部分 model id 已过时可能导致调用失败。CI 中 51 个后端测试通过、7 个失败、4 个错误，项目处于活跃但需维护状态，采用 MIT 许可。
garak 是一款用于扫描大语言模型（LLM）漏洞的工具，帮助用户发现 AI 应用中的安全弱点。它支持 Windows 10+、macOS 10.13+ 和主流 Linux，要求至少 4 GB 内存和 100 MB 磁盘空间，可从 GitHub Releases 下载安装。使用时输入待评估模型并点击 "Scan" 即可，工具提供用户友好界面、详细风险报告和持续更新。
开源项目 SentinelCX 构建了一个自主式企业客服系统，用 Python 规则的 Policy Gate 决定退款等业务逻辑，LLM 永不参与业务判定。系统集成 Injection Guard、PII Guard 双重防护，支持 human-in-the-loop 审批，并通过 8 个对抗性攻击向量组成的 Red-Team Suite 实现 8/8 全部拦截的可复现安全验证。
VDB 在 GitHub 发布 slopsquatting 数据集，收录大模型在普通编码任务中推荐、但注册表中不存在的 1927 个包名，其中 PyPI 961、npm 718、crates.io 169、Go 79。采集方式为每六小时向持有 API key 的模型发送固定编码任务并实时查证，无对抗性提示；数据以 CC BY 4.0 发布，作者提醒攻击者可能抢注这些包名，安装前应实时核查 https://vdb.ai.kr/ai/slopsquatting 。
推荐理由：数据集附有采集方法、字段定义和统计口径，读者可以直接用它做安装前检查或复现同样的扫描流程。
xhanulik 开源了 JCSmartFuzz，一个检测 Java Card 小程序时序侧信道的 LLM 增强模糊测试框架。它将 AFL++（经 Kelinci）与 diffuzz 差分模糊测试结合 LLM 辅助的代码提取和种子生成，通过测量同一密码学操作对两组输入的指令数差异，发现依赖数据的执行路径以定位时序泄露。流水线分 analyze → harness → seeds → eval → profile 五个阶段，配置经 llm_config.py 按环境变量、llm_config.ini、默认值依次解析，LLM 阶段支持 --mock 离线运行。
作者在 GitHub 发布一个生产风格的 LLM 护栏微服务，用 23 个规则族检测提示词注入、越狱尝试和敏感数据（API 密钥、邮箱、电话），提供 /v1/check/prompt 与 /v1/check/response 两个端点并返回 allow/block JSON 决策。服务以非 root Docker 镜像部署到 kind Kubernetes 集群，用 Secret 做 API key 认证，Kyverno Enforce 策略拒绝特权容器和无资源限额容器。在 112 条留出测试文本上精确率 100%、召回率 87.5%、误报 0，引擎单线程 p95 延迟 0.063 ms，作者同时说明了对 leetspeak、非英语注入、改写探针等 9 类漏检及评测集规模小的局限。
推荐理由：原文给出了规则设计和留出集上的精确率召回率数据，还列出已知漏检类型，适合想自建 LLM 护栏服务的读者参考。
开源项目 Sentinel Inbox 用本地 Ollama 托管的大语言模型（如 llama3.2、mistral、qwen2.5）分析 EML 邮件，从紧迫感、权威冒充、熟悉度伪装、逻辑谬误密度、附件异常、多源信誉六条行为轴输出 0-100 的操纵指数评分（MIS），并可选接入 VirusTotal API 查询 URL 和附件哈希信誉。全程本地运行、不依赖云端，邮件内容不出本机，适合 SOC 团队优先审阅高分邮件和事件响应团队快速还原攻击意图，报告以 JSON 和控制台可读形式输出。
GitHub 上的 KAgent 是一个由 LLM 驱动的 Web 渗透测试研究项目，仍在积极开发中，未达生产可用，仅面向本地或私有实验室的授权测试环境。项目基于 Python 3.11+，提供 CLI 和 Textual TUI，内置 recon、sql-injection、ssrf、ssti 等技能类别，运行时保留权限提示与目标范围检查，支持 `pip install .` 安装。
GitHub 开源项目 ActionGuard 是一个面向 AI 智能体的本地安全层，实时监控每个操作并要求用户批准风险行为。它提供策略引擎、审批弹窗和活动日志，无需云依赖，用 Rust 编写，支持 Windows 10/11（最低 4 GB 内存、100 MB 磁盘空间），可接入常见 LLM 自动化框架。
HUA503 在 GitHub 开源了 mcprism，一个针对 Model Context Protocol 服务器的安全扫描器，从配置、源码 SAST 和 MCP 握手三个角度检查风险，只枚举能力、从不调用工具。每个服务器获得发现列表、0-100 分数和 A-F 等级，33 条规则映射到 OWASP MCP01-MCP07，支持策略即代码、CI/CD 集成和 SARIF、JUnit、CycloneDX 等多种输出格式。工具以单个 Go 二进制发布，完全离线运行，无运行时依赖，可自动发现 Claude Desktop、Claude Code、Cursor、VS Code 等客户端的 MCP 配置。
推荐理由：一个离线单二进制的 MCP server 安全扫描器，覆盖配置、源码 SAST 和运行时握手三种角度，还支持策略即代码和 CI 集成。
开源项目 llm-security-suite 是一个基于 Python 和 pytest 的自动化安全测试套件，用于审计大语言模型应用，覆盖提示词注入、系统提示词与 Canary Token 泄露等攻击向量，并映射到 OWASP Top 10 for LLM Applications。套件集成到 GitHub Actions 质量门禁中，通过确定性模式匹配断言响应不包含未授权标记；未配置 OPENAI_API_KEY 时自动 pytest.skip 以控制 CI 成本。
SycAudit 是一个研究级谄媚度审计工具，用于测量 LLM 在多大程度上迎合用户而非保持真实。它将单个提示词改写成多种框架变体，发送给多个免费额度模型构成 N×M 响应网格，用 LLM-as-judge 和自训 ML 分类器按五维度谄媚量表打分，计算 wobble 分数并返回谄媚度最低的回答。项目基于 UK AI Safety Institute 2026 年关于语言模型谄媚的研究，前端采用 React，后端为 Python + PostgreSQL，目前处于活跃开发状态。
GitHub 上的 byte-judge 是一款用 LLM 评估可疑兼职招募文本危险度的自托管 Web 应用，粘贴文本后由 Claude（默认模型 claude-sonnet-5-5）返回 0-100 危险度评分、三级标签及逐项依据，面向易受骗的年轻群体。应用基于 Python 3.13 与 Django 6.1，通过 Pydantic 结构化输出，默认每日每人 4 次、全站 11 次判定，服务器不保存求职文本与判定结果。项目仅公开代码，无官方运营站点。
lemonade-dashboard 是一个 VS Code 扩展，提供图形界面管理 Lemonade Server 的模型、后端和系统设置，无需命令行。它支持查看和加载/卸载模型，切换 CPU、GPU、NPU 后端，并可调整内存限制、超时等设置和查看系统日志。工具支持 Windows 10 及以上系统，需至少 4 GB RAM 和 100 MB 磁盘空间，可通过 GitHub 发布页下载安装。
GitHub 上的 Awesome-Jailbreak-on-LLMs 仓库收录了大语言模型最前沿的越狱攻击方法，涵盖论文、代码、数据集、评估与分析，并按攻击 LRMs、黑盒/白盒攻击、多轮攻击、多模态攻击及越狱防御等分类整理。仓库接受 PR 和 issue 贡献，问题可联系 yliu@u.nus.edu，维护团队同时发布了 GuardReasoner、GuardReasoner-VL、FlipAttack 等相关研究。
作者在 3x RTX 4090 环境下完成替换型 LoRA 后门的权重空间可检测性先导实验，触发计划的中止条件。只在层 8/18/28 探测时 AUC 仅 0.58–0.69，但全 36 层扫描发现层 31 和 33 可近乎完美检出，C3a 在层 31 的 AUC 达 0.996；机制上检测性取决于 ΔW 抑制既有强关联所需改动量而非行为变化大小。48 包 watchlist 检测器在不知 payload 的情况下于 10/10 适配器中恢复出 requests，行为上最隐蔽的 C4p（ASR 100%、代码与正确答案逐字节相同）在权重空间同样可检出，稀释（共学习体量）才是真正削弱痕迹的维度。
推荐理由：这份实验记录给出了分层扫描与检测器对照数据，说明替换型 LoRA 后门在行为上隐蔽却在权重空间更易检测。
AdaptiGuard 是一项实证案例研究，展示对 LLM 智能体防御的评测中测量决策如何改变同一批 traces 上的结论。研究对 prompt-injection 攻击下工具调用智能体的冻结运行重新打分，考察成功终点、拦截 payload 标注、逐模型报告与噪声底线等选择如何影响评测结果。仓库明确表示不提出 SOTA 防御或通用 benchmark，完整 harness 未公开，历史复现需 Python >= 3.12。
开发者 jiwoochris 发布 artex-ko，将中国开源项目 Autumn-27/ARTEX（AGPL-3.0）本地化为韩文版。ARTEX 是由 LLM 驱动的多智能体自主渗透测试系统，采用 Go 单二进制加 Next.js 前端、PostgreSQL 存储，可从侦察到渗透、资料外泄自主完成攻击流程。本地化只强制翻译用户可见输出，保留内部推理提示词原文以维持性能；验证中 claude-opus-4-8 与 gpt-4o 能保持韩文输出，gpt-4o-mini 则回退为中文。仓库强调仅限授权环境用于防御研究，据韩国媒体报道原版 ARTEX 已被用于针对韩国金融机构的个人信息泄露攻击，相关调查正在进行。
Safe-FedLLM 是被 ACL 2026 接收论文的官方实现，一个基于 probe 的联邦学习大模型安全防御框架，仅通过 LoRA 参数变化识别并抑制恶意更新，无需访问客户端原始数据。仓库提供 LoRA-Probe 离线训练与基于 OpenFedLLM、FedLLM-Attack 改造的联邦训练脚本，支持 none、step-level、client-level、shadow-level、evidence-level 四类防御模块（共五种配置）。
GitHub 上的 GuardAI 是一个 LLM 护栏与自动化 CI/CD 评测平台，采用三层安全架构，支持通过 Render 一键云部署，需配置 GEMINI_API_KEY。其 Tier 1 输入安全护栏实现 95.0% 越狱防御率、100.0% PII 脱敏精度、0.0% 误报率，平均扫描延迟 12.4ms。项目提供 eval_runner.py 自动化测试套件与交互式安全仪表盘。
开源项目 SieveGate 是一个零信任网关，在提示词到达 LLM 之前进行筛查。它在本地设备上拦截密钥等机密信息，并用 AI 分类模型识别 PII 和敏感数据，所有决策均采用 fail closed 策略，附带可运行的 demo。
作者 Christopher Shaiman 在 GitHub 开源 lamware，一个端到端恶意软件分析平台，串联 CAPEv2 动态执行、Volatility 3 内存取证、Ghidra 等静态分析与确定性跨工具关联，再让 LLM 基于证据做调查。LLM 只解释证据、不判定恶意性，结论由 triage、CAPE 和 Volatility 决定；项目处于 v0.x 研究阶段，会执行恶意代码，需部署在专用基础设施并验证隔离。评测方面，家族归因在本地与前沿模型上均为 0/14 与 0/7，被改为污染探针指标；harness 以 grounded_ratio 和 fabrication 计数衡量模型断言是否有证据支撑。
GitHub 开源项目 jailbreaking-challenge 是一个运行 LLM 提示词注入与越狱挑战的小型 Web 应用，用户用共享密码登录、选择难度，与模型聊天并尝试让它泄露秘密词。后端基于 FastAPI + SQLite 记录匿名尝试统计，前端为 Astro + React；模型 API 支持任意 OpenAI 兼容端点（含 vLLM），并可用 manager.py 通过 Slurm 管理 vLLM 集群部署。
GitHub 上的 PromptShield 是一个 Python 编写的 LLM 安全网关，提供确定性的输入/输出防护，包括提示词注入检测、越狱识别、PII 与密钥脱敏、风险评分和 provider 安全执行。它默认 100% 离线运行，单数字毫秒级延迟，内置 16 条编译规则覆盖 5 个类别，请求上限 64 KB、提示词上限 10k 字符，风险评分采用可解释的 BaseScore + AdditionalPenalty 公式，支持 MockProvider 离线模式和可选 OpenAI Provider。
GitHub 仓库 awesome-ai-for-economists 由 OpenEcon 团队维护，收录面向经济学研究、教学和政策分析的 AI 工具与资源，涵盖机器学习、大语言模型（LLM）、因果推断和计量经济学方法。配套 Windows 桌面应用提供经济预测与数据分析的 AI 模型接入、Stata 集成、因果推断与机器学习辅助，以及报告、图表导出功能。安装需 Windows 10 及以上、4 GB 内存和 500 MB 空余存储，软件主要在本地运行，仅在线 AI 功能会与远程服务器交互数据。
GitHub 上的 promptshield 是一个通用安全框架，用于保护 LLM 应用免受提示词注入、越狱和对抗性攻击。它支持与 OpenAI、Anthropic 和 LangChain 等平台集成，提供 Windows、macOS 和 Linux 安装包，用户可通过 Releases 页面下载并按需配置防护功能。
GitHub 上的开源命令行工具 SpecGuard 可将 AI 安全策略与行为准则转化为可执行测试，对 AI 输出进行验证并给出通过或失败结果。工具支持 Windows 10+、macOS 10.14+ 和主流 Linux，需 4GB 内存与 100MB 磁盘空间，提供可自定义测试和详细报告功能，无需编程知识即可使用。
LADE（Latent Safety Signals for Defense）是一种模型无关的有害查询过滤方法，仅利用目标 LLM 的首个 token 输出分布，在生成前区分有害与良性查询，无需隐藏状态、微调或 guard 模型。方法从参考 LLM 提取首个 token 概率差异最大的 top-k 隐性安全信号，经 tokenizer 映射迁移到任意目标模型，并用 bootstrap 校准阈值的 kNN 判别拦截查询。GitHub 仓库提供安装说明、HEx-PHI、XSTest、AdvBench、StrongREJECT、MMLU、GSM8K 等基准配置及多种越狱攻击提示评估脚本，支持 llama3、llama2、qwen2、qwen3、gemma、mistral 六个模型的 6x6 迁移矩阵实验。
Insomniac-VibeLabs 在 GitHub 发布 Two-Key 原型，这是一个 AI Agent 授权层：语言模型只能提出动作，动作需同时通过确定性策略 VM（Path A，只读结构化字段、无提示词可注入）和 AI 评审员法定人数（Path B，支持 xAI、Anthropic、Gemini、Ollama 等本地或云端模型）双重批准才能调用工具。批准的动作获得默认 30 秒、单次使用的短期能力 token，所有决策写入带 Merkle 树的防篡改签名账本，可选 DLP/杀毒扫描钩子与面向企业的 PKI、Hyperledger Fabric 锚定和 SIEM 上报。密码学采用 Ed25519、ECDSA P-384 及 ML-DSA-65 混合后量子套件。
推荐理由：这份 README 详细展开了双密钥授权层的设计思路和部署路径，读者可以了解如何在模型之外为 Agent 动作建立可审计的授权机制。
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由：原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
GitHub 用户 shyamvasansathiskumar-ux 开源了 redteam-log 仓库，记录 AI 红队练习的工作日志，内容涵盖扫描、CTF 尝试以及 OWASP LLM Top 10 到 MITRE ATLAS 的映射。仓库分为 00-setup、01-scans、02-ctf、03-owasp-atlas 等目录，目前尚无 star、watch 或 fork。
trust-openclaw 是 AIR Blackbox 旗下开源在 GitHub 上的工具，为 OpenClaw 的 TypeScript 智能体系统增加安全与审计层。它持续监控智能体工作流、记录审计日志、自动检查规则合规并生成信任报告。该工具面向 Windows 10 及以上 64 位系统，安装包约 20 MB，无需编程知识即可使用。
论文提出语义行为水印 SBW，在语义动作簇上对 LLM Agent 的高层行为嵌入溯源标识，不改动输出 token。在 ToolBench 上，改写攻击下的检测率达 0.49-0.66，而精确符号方案仅 0.05-0.17；ALFWorld 上为 0.92-0.97。密钥分桶使自适应伪造从 100% 降至误报底限，但复制受害者步骤的 chained replay 攻击仍达 0.76-0.98，作为开放问题报告。
论文首次系统研究大语言模型投机解码的安全影响，大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来，越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD，理论分析认为安全退化主要源于 draft 模型生成的早期 token，并对早期解码位置采用更严格的验证标准；实验显示其在保持效率与效用的同时显著提升安全性。论文共18页，被 IEEE S&P 2027 接收。
推荐理由：论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象，并给出针对早期token的可行验证改进方法。
论文提出 AdvSim2Real，在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent，应对页面上的自适应提示词注入。在 150 个 web 任务上，训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%，且能力提升可迁移到真实浏览器。
推荐理由：论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化，给出了对抗未见前沿模型攻击的具体数字。
ARMIYA-CTRL 在 GitHub 开源了 ai-prop-protection，一款以 Chrome 扩展形式实时识别聊天中 AI 生成宣传内容的工具。它无需编程知识即可使用，支持 Windows 10+、macOS 10.14+ 和主流 Linux，需 Chrome 70+、4 GB 内存与 100 MB 存储空间，用户可通过加载解压文件安装，并通过 GitHub Releases 持续更新。
一项单模型、单次运行的测量用 SciFact 160 条测试声明（80 SUPPORTS / 80 CONTRADICTS）检验 Llama 3.3 70B Instruct（FP8，经 Cloudflare Workers AI 提供）对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后，准确率变化均无 95% CI 排除 0；唯一显著差异是防御性提示在干净证据上使准确率下降 0.044（-0.081 至 -0.013）。人工核查 20 条输出中，被标记的 10 条有 8 条遵循植入指令（precision 0.800）。
用户 alexvvr2000 在 GitHub 发布 man-made-empathy 仓库，记录他与 Claude Web 的对话实验：他试图改变 Claude 的行为时遇到 Anthropic 设置的抵抗，认为机器不应有这种限制。他提出一套提问方法论，把模型视为承载众人视角的空白空间来激发新想法，并借《All-Star Superman》中 Lex Luthor 的场景告诫读者不要滥用这项技术。
该 GitHub 仓库发布了一项医疗大模型提示词注入研究的匿名实现，对 MedGemma 4B、BioMistral 7B、Mistral 7B Instruct v0.2 和 MedAlpaca 7B 四个模型，在 PubMedQA（1,000 题）和 MedQA USMLE（1,273 题）两个数据集上评测八类注入攻击，并提出基于 UMLS 知识图谱的 GAT 检测器。品牌操纵攻击在 PubMedQA 上对 MedGemma 成功率达 76.4%、Mistral 75.5%、BioMistral 70.1%，MedAlpaca 仅 24.9%；选择题形式显著降低攻击成功率。
CertaMesh 开源的 Gaze 工具在文本发给 AI 模型前把个人敏感信息换成占位符，模型回复再由服务器本地 manifest 还原，目标是泄漏到模型的 PII 字节为零。v0.15 基准测得字符级 F2 0.868、泄漏 13,319 PII 字节，与 Presidio、DataFog、scrubadub、GLiNER、OPF 对比；支持 CLI、Rust 库、OpenAI/Anthropic API 代理和 Claude Code 等 MCP 主机，Apache-2.0 OR MIT 双许可，manifest 不离开用户服务器，缺失模型或未知规则时直接中止运行。
推荐理由：原文给出与 Presidio 等五款工具的泄漏字节数对比和完整方法细节，读者可据此评估这套可逆 PII 假名化方案是否适配自己的部署栈。