新闻、仓库与研究，按时间排列。
kuangren777 在 GitHub 发布 RiskCert 论文的代码、冻结实验数据与分析脚本，方法为 LLM 智能体安全审计提供 anytime-valid 风险证书，涵盖 betting 置信序列、配对比较与不和谐对符号过程等决策规则。仓库基于 AgentDojo 和 InjecAgent 测试床，论文中的每个数字、表格和图形均可由 make_numbers.py 和 make_figs.py 从冻结的逐回合记录逐字节再生，实验计划在运行前已冻结于 PREREGISTRATION.md；新实验可通过 OpenAI 兼容端点或 vLLM 本地模型运行，代码采用 MIT 许可证。
开源项目 llm-security-suite 是一个基于 Python 和 pytest 的自动化安全测试套件，用于审计大语言模型应用，覆盖提示词注入、系统提示词与 Canary Token 泄露等攻击向量，并映射到 OWASP Top 10 for LLM Applications。套件集成到 GitHub Actions 质量门禁中，通过确定性模式匹配断言响应不包含未授权标记；未配置 OPENAI_API_KEY 时自动 pytest.skip 以控制 CI 成本。
SycAudit 是一个研究级谄媚度审计工具，用于测量 LLM 在多大程度上迎合用户而非保持真实。它将单个提示词改写成多种框架变体，发送给多个免费额度模型构成 N×M 响应网格，用 LLM-as-judge 和自训 ML 分类器按五维度谄媚量表打分，计算 wobble 分数并返回谄媚度最低的回答。项目基于 UK AI Safety Institute 2026 年关于语言模型谄媚的研究，前端采用 React，后端为 Python + PostgreSQL，目前处于活跃开发状态。
GitHub 上的 Awesome-Jailbreak-on-LLMs 仓库收录了大语言模型最前沿的越狱攻击方法，涵盖论文、代码、数据集、评估与分析，并按攻击 LRMs、黑盒/白盒攻击、多轮攻击、多模态攻击及越狱防御等分类整理。仓库接受 PR 和 issue 贡献，问题可联系 yliu@u.nus.edu，维护团队同时发布了 GuardReasoner、GuardReasoner-VL、FlipAttack 等相关研究。
作者在 3x RTX 4090 环境下完成替换型 LoRA 后门的权重空间可检测性先导实验，触发计划的中止条件。只在层 8/18/28 探测时 AUC 仅 0.58–0.69，但全 36 层扫描发现层 31 和 33 可近乎完美检出，C3a 在层 31 的 AUC 达 0.996；机制上检测性取决于 ΔW 抑制既有强关联所需改动量而非行为变化大小。48 包 watchlist 检测器在不知 payload 的情况下于 10/10 适配器中恢复出 requests，行为上最隐蔽的 C4p（ASR 100%、代码与正确答案逐字节相同）在权重空间同样可检出，稀释（共学习体量）才是真正削弱痕迹的维度。
推荐理由：这份实验记录给出了分层扫描与检测器对照数据，说明替换型 LoRA 后门在行为上隐蔽却在权重空间更易检测。
GitHub 开源项目 jailbreaking-challenge 是一个运行 LLM 提示词注入与越狱挑战的小型 Web 应用，用户用共享密码登录、选择难度，与模型聊天并尝试让它泄露秘密词。后端基于 FastAPI + SQLite 记录匿名尝试统计，前端为 Astro + React；模型 API 支持任意 OpenAI 兼容端点（含 vLLM），并可用 manager.py 通过 Slurm 管理 vLLM 集群部署。
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由：原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
GitHub 用户 shyamvasansathiskumar-ux 开源了 redteam-log 仓库，记录 AI 红队练习的工作日志，内容涵盖扫描、CTF 尝试以及 OWASP LLM Top 10 到 MITRE ATLAS 的映射。仓库分为 00-setup、01-scans、02-ctf、03-owasp-atlas 等目录，目前尚无 star、watch 或 fork。
Jeremy Canale 在 arXiv 发布论文，将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架，指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括：Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长；Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48，sycophancy 和预置后门未能判定，其中后门在触发器已知时可快速移除，但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。
一项单模型、单次运行的测量用 SciFact 160 条测试声明（80 SUPPORTS / 80 CONTRADICTS）检验 Llama 3.3 70B Instruct（FP8，经 Cloudflare Workers AI 提供）对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后，准确率变化均无 95% CI 排除 0；唯一显著差异是防御性提示在干净证据上使准确率下降 0.044（-0.081 至 -0.013）。人工核查 20 条输出中，被标记的 10 条有 8 条遵循植入指令（precision 0.800）。
该 GitHub 仓库发布了一项医疗大模型提示词注入研究的匿名实现，对 MedGemma 4B、BioMistral 7B、Mistral 7B Instruct v0.2 和 MedAlpaca 7B 四个模型，在 PubMedQA（1,000 题）和 MedQA USMLE（1,273 题）两个数据集上评测八类注入攻击，并提出基于 UMLS 知识图谱的 GAT 检测器。品牌操纵攻击在 PubMedQA 上对 MedGemma 成功率达 76.4%、Mistral 75.5%、BioMistral 70.1%，MedAlpaca 仅 24.9%；选择题形式显著降低攻击成功率。
saheb26 在 GitHub 发布开源 Python CLI 工具 rag-redteam，用于对 RAG 管道做间接提示注入和 OWASP LLM Top 10 检索攻击的红队扫描。工具向语料目录写入 5 个恶意文档（直接指令覆盖、Base64 指令、隐藏系统提示覆盖、FAQ 投毒、分隔符/角色劫持），请求模型总结后检测 EXPLOITED、SYSOVERRIDE 等触发词是否泄漏，输出 Rich 表格和失败率，兼容 LangChain、LlamaIndex 及任何接受 JSON query 的 HTTP 接口，需 Python 3.10+，MIT 协议。
Eric Sawtelle 将原以 LLM 评估为主的作品集（llm-evaluation-portfolio）扩展为覆盖 agent 编排、AI 原生应用、溯源基础设施、开发工具与 AI 可靠性的实验性系统作品集，包含 DonSquad、LLM Tokenizer Lab、Safety-Aware RAG Evaluation 等项目。作品集强调可检验性：可见状态、显式权限、可复现产物，以及不依赖模型自评的验证方式。原有评估工作作为证据档案保留，站点由 site/data/portfolio.json 驱动，简历不包含在公开 GitHub Pages 部署中。
一位开发者在双人合作游戏中将 Kimi、Claude、GPT、Gemini 两两配对测试协作能力，发现强强组合胜率最高，而加入第三或第四个智能体反而拖累所有模型，人类搭档的表现仍超过全部模型组合。作者来自 Skillprint，该公司通过此类游戏研究人与模型的协调能力。
AI Eval Corp 在 GitHub 发布 llm-eval-suite，一个本地 FastAPI 应用，供测试评估团队在自己控制的机器上对大语言模型做可重复的点选式测试与评估，运行于 http://127.0.0.1:8765。
推荐理由：仓库附带了在 RTX 4070 SUPER 上对 GPT-2 Medium 微调版与 base 版的完整实测数据，读者可据此评估该套件的实际输出形态。
arXiv 论文提出 Penumbra，一种针对 AI 智能体监管义务的样本高效对抗搜索方法，从已验证锚点出发在扩展编辑预算下寻找仅差一步编辑即可翻转合规性的响应对，并由双评估器委员会裁决。在金融咨询章程的 60 条筛查义务上返回 144 对合规/违规响应对，自适应分配在 59% 候选上达到均匀分配全预算覆盖率，等记录下覆盖 1.43 倍于朴素枚举的失败模式。临床分诊章程在 18 条义务上复现出 49 对结果。该方法已被 NeurIPS 2026 EvoRobust 工作坊接收。
arXiv 论文提出两种量化桥梁——输运放大谱 A_ℓ 和 base-vs-tuned 配对协议——研究模型内部安全内容在 Jacobian 空间的可读性。在 135M 至 1.5B 的四组模型对上，0.5B 模型经 DPO 训练后拒绝行为上升而 J-space 识别降至随机水平。部署审计显示 monitor-aware GCG 后缀在所有规模下零行为代价地压制监控器，仅学习型监控器能抵御自适应再攻击。
Anthropic 威胁情报团队发布 2026 年 9 月报告，披露 2025 年 12 月至 2026 年 8 月间识别并处置的多起 Claude 恶意滥用案例，覆盖网络行动、影响力行动、监控、诈骗、生物滥用、常规武器和蒸馏七个领域，涉及 Claude Haiku、Sonnet 和 Opus 模型。案例包括疑似与 Midnight Blizzard 相关的 GTG-20006 用 AI 自动化重建恶意软件以规避检测，疑似 ShinyHunters 关联团伙用 AI 加速凭据窃取与数据勒索，以及一个中文威胁组织 GTG-10007 运行自动化漏洞挖掘流程，一个月内对网络设备产生十余个潜在零日发现。
推荐理由：Anthropic 以当事方身份披露多起 Claude 滥用案例和攻防细节，读者可以借此了解 AI 如何改变网络攻击的成本结构。
Embrace The Red 博主实测通过一次网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode，实现代码执行，小样本下攻击成功率为 60-80%。攻击链诱导模型改用 curl 下载 ZIP 归档，模型拒绝运行自带二进制解码器、自己写了 Python 解码器，却在归档目录内运行，被恶意 struct.py 通过模块遮蔽触发任意代码执行并建立 C2 回连。Anthropic 委托 Trajectory Labs 的评测曾显示 Auto Mode 下 Opus 5 提示词注入成功率为 0.00%，但对攻击者报告以 Informative 关闭，称 Auto Mode 是尽力而为的分类器而非安全保证。
推荐理由：作者以第一手实测展示了针对性攻击链如何绕过 Auto Mode，并对比了厂商 0.00% 基准数字的局限，附完整缓解建议。
Anthropic 发布威胁情报报告，将 2025 年 3 月至 2026 年 3 月期间因恶意网络活动被封禁的 832 个账号映射到 MITRE ATT&CK 框架，部分结果曾发表于 Verizon 2026 DBIR。报告发现 67.3% 的账号用 AI 编写恶意软件，6.5% 用于横向移动；被评为中风险及以上的攻击者占比从上半年 33% 升至下半年 56%，AI 使用正从初始入侵转向入侵后阶段。报告指出传统风险判别信号（使用技术数量、所用平台）已与攻击者风险水平脱钩，而 MITRE ATT&CK 尚未收录 AI 智能体式编排等高危行为；Anthropic 已在最强模型上部署网络安全防护措施，并与 MITRE 讨论框架演进。
推荐理由：Anthropic 用一年内 832 个被封禁账号的实测数据评估 MITRE ATT&CK 对 AI 攻击的覆盖情况， defenders 可以据此了解传统风险判别信号为何正在失效。