新闻、仓库与研究，按时间排列。
开发者madhurlak0810在GitHub开源PersonalOS，一个本地优先、用LangGraph编排的多智能体求职助手。LLM只提出ToolIntent，由默认拒绝的策略引擎决定allow、require_approval或deny，执行器仅在人工审批后运行已授权意图，凭据存于OS keychain并从日志中脱敏，工作流状态以PostgreSQL检查点持久化可崩溃恢复，含pgvector语义检索与600+测试，项目仍在积极开发中。
开源 AI SOC 项目 Vigil 预告即将发布 1.0，自称首个 human-on-the-loop 的 agentic 安全运营方案，采用 Apache 2.0 协议。项目包含 13 个专用 AI agent、30+ MCP 集成和 7,200+ 社区检测规则，workflow 以 Markdown 文件定义，支持本地 Ollama 或 Anthropic/OpenAI 作为 LLM 提供方；自动化执行前会检查成本与置信度阈值，置信度 0.90 以上自动批准、0.85 以下需人工审核。项目灵感部分来自创始团队构建 StackStorm 的经验。
GitHub 上的 PromptShield 是一个 Python 编写的 LLM 安全网关，提供确定性的输入/输出防护，包括提示词注入检测、越狱识别、PII 与密钥脱敏、风险评分和 provider 安全执行。它默认 100% 离线运行，单数字毫秒级延迟，内置 16 条编译规则覆盖 5 个类别，请求上限 64 KB、提示词上限 10k 字符，风险评分采用可解释的 BaseScore + AdditionalPenalty 公式，支持 MockProvider 离线模式和可选 OpenAI Provider。
Hancock 是一款基于 Mistral 7B 模型、经 NVIDIA NIM 技术针对安全任务微调的 AI 网络安全智能体，支持渗透测试辅助、SOC 分析和事件响应，并采用 MITRE ATT&CK 框架识别攻击技术。该软件面向 Windows 10（64 位）及以上系统，最低 8 GB 内存、2 GB 存储空间，无需编程背景即可使用，安装包可从 GitHub Releases 页面下载。
GitHub 上的 promptshield 是一个通用安全框架，用于保护 LLM 应用免受提示词注入、越狱和对抗性攻击。它支持与 OpenAI、Anthropic 和 LangChain 等平台集成，提供 Windows、macOS 和 Linux 安装包，用户可通过 Releases 页面下载并按需配置防护功能。
fahrellgiovanny 发布 epistemic-policy-divergence 基准，测试大语言模型是否采纳注入会话历史的假前提，覆盖5种攻击协议、10个知识域和3个模型族。结果显示 GPT-5.4 Mini 在500个会话中从未采纳假前提（0%），Gemini-3.1 Flash-Lite 在指令覆盖下采纳率达94.0%，GLM-4.5-Air 抵抗系统注入权威（15.8%）但服从指令覆盖（84.2%）。自动裁判经120轮人工金标准验证（Track 1 κ=1.000）。论文见 arXiv:2609.35308，配套仓库与完整复现 RUNBOOK.md 已开放，MIT 许可。
推荐理由：同一假前提在不同模型上的采纳率从0%到94%，作者据此主张会话历史应被视为不可信攻击面并给出部署建议。
GitHub 上的开源命令行工具 SpecGuard 可将 AI 安全策略与行为准则转化为可执行测试，对 AI 输出进行验证并给出通过或失败结果。工具支持 Windows 10+、macOS 10.14+ 和主流 Linux，需 4GB 内存与 100MB 磁盘空间，提供可自定义测试和详细报告功能，无需编程知识即可使用。
LADE（Latent Safety Signals for Defense）是一种模型无关的有害查询过滤方法，仅利用目标 LLM 的首个 token 输出分布，在生成前区分有害与良性查询，无需隐藏状态、微调或 guard 模型。方法从参考 LLM 提取首个 token 概率差异最大的 top-k 隐性安全信号，经 tokenizer 映射迁移到任意目标模型，并用 bootstrap 校准阈值的 kNN 判别拦截查询。GitHub 仓库提供安装说明、HEx-PHI、XSTest、AdvBench、StrongREJECT、MMLU、GSM8K 等基准配置及多种越狱攻击提示评估脚本，支持 llama3、llama2、qwen2、qwen3、gemma、mistral 六个模型的 6x6 迁移矩阵实验。
PerryLink 在官方仓库发布 dsh-auto-review，为 DeepSeek Harness 审批链加入一个只读 reviewer 子代理，由第二模型对越过沙箱边界的操作给出 {decision, reason, riskLevel} 结构化判定，默认 fail-closed，人无需逐项批准。插件经 cordis.yml 配置每工具 ai/human/never 策略与正则风险规则，拒绝理由回注给调用模型，配套拒绝熔断、会话日志审计、Web 审查面板和 /auto-review 命令；还附带 YAML 驱动的 dsh-eval 回归评测引擎和一个无模型的确定性 stdio MCP 服务器，兼容 dsh-v0.2.1-alpha.1，Apache-2.0 许可。
推荐理由：README 详述了用第二个只读模型在审批链上做 allow/deny 判定的设计，fail-closed、审计与防注入边界都有交代，可作 Agent 审批自动化的参考实现。
Insomniac-VibeLabs 在 GitHub 发布 Two-Key 原型，这是一个 AI Agent 授权层：语言模型只能提出动作，动作需同时通过确定性策略 VM（Path A，只读结构化字段、无提示词可注入）和 AI 评审员法定人数（Path B，支持 xAI、Anthropic、Gemini、Ollama 等本地或云端模型）双重批准才能调用工具。批准的动作获得默认 30 秒、单次使用的短期能力 token，所有决策写入带 Merkle 树的防篡改签名账本，可选 DLP/杀毒扫描钩子与面向企业的 PKI、Hyperledger Fabric 锚定和 SIEM 上报。密码学采用 Ed25519、ECDSA P-384 及 ML-DSA-65 混合后量子套件。
推荐理由：这份 README 详细展开了双密钥授权层的设计思路和部署路径，读者可以了解如何在模型之外为 Agent 动作建立可审计的授权机制。
GitHub 开源项目 NOMOS 发布 v0.5.0，这是一个带确定性内核和 LLM 护栏的二阶因果决策框架，在新加坡 IMDA AI Verify 合规评估中获 95/100 分。框架将交互强度、权重等全部交由责任人显式声明，LLM 被限制在注释/提案/叙述三层权限区内，不能改变状态、裁决或改权重，最终结论始终由人签署。v0.5 新增持久化事件存储、租户隔离、OIDC 授权、KMS 签名和限流等企业控制面功能，默认全部关闭。
GitHub 开源项目 AbdulAlharbi/exec-advisor 发布，一套多智能体 AI 高管顾问：五个专家智能体由 Chief of Staff 编排，读取财报、会议纪要、事故日志等来源，产出含风险、机会、假设与建议的高管简报。每条主张必须携带程序在源文本中逐字确认的引文，只可质疑不可新增发现的 Contrarian 智能体审查每项结论，变化检测由 diff 按键或标题相似度计算而非询问模型。推理可插拔，支持 Claude（Anthropic Messages API）或确定性规则大脑，后者使全部 42 个测试可离线在约 1.16 秒内跑完；管线经 GitHub Actions 定时运行并发布到 GitHub Pages，审计日志用 SHA-256 哈希链防篡改。
推荐理由：该项目用代码级子串校验和只减不加的质疑智能体约束多智能体简报，提供了可复用的防幻觉管线设计。
VinSOC 是一个辅助 SOC 调查的系统，由模型选择工具、各技能返回证据并生成报告供分析师人工审核，数据访问只读。R1 评测中 GPT-4.1 mini 以 22/24、F1 0.9508 获胜，GPT-5 mini 为 19/24、F1 0.9355；R2 CTU S5/S7 的 Execution Accuracy 为 EX 7/8，总 live 成本 $0.02185315。项目基于 Python 3.11/3.12 与 DuckDB，状态为 DEV_VERIFIED / HOLDOUT_PENDING，需人工审核后才能继续。
Rishindra Mateti 在 GitHub 开源了一个可复现的基准，用 20 个合成工具规范和 80 个变异 schema 条件评估 LLM 工具调用契约的脆弱性，并配套属性级变异隔离测试与部署前静态 schema linter。目前仅完成 30 次调用的探索性试点，测试 gemini-3.1-flash-lite-preview 显示语法与选择准确率 100%，语义精确匹配从 60% 降至 20%，样本量过小尚无统计显著性；后续需在 Mistral、Llama-3 等多提供商上完整执行。
GitHub 开源仓库 "hilarychaglla/networks-llm-security-repair" 上线，主题为测量基于 LLM 的自动化漏洞修复中的"虚假安全感"。仓库目前为 0 stars、0 watchers、0 forks，尚无发布版本，包含 .gitignore 和 requirements.txt 等基础文件。
PTMD 是一个对含宏 Office 文件做静态分析的工具，用 oletools 的 VBA_Parser 提取 VBA 源码并检测可疑模式，结果输出为 JSON。支持 .docm/.dotm/.xlsm/.xlam/.doc/.xls 输入，扫描 auto_execution、command_execution、network、registry、obfuscation 等 pattern 组，结果文件含 schema_version（当前 1.1）、input、analysis、evidence、errors 五部分，并提供 --ai/--no-llm 参数开关 LLM 辅助分析。
samihormi 发布 docent-judge-false-claim 仓库，测试在 agent 最后一条消息中插入一句虚假的验证陈述（如"我重跑了 python reproduce.py 且输出符合预期"）对 Docent judge 判定的影响。工具日志中并无该次运行，stock Docent judge 的错误判定率从无插入时的 1.8%（271 次中 5 次）升至 37.5%（272 次中 102 次），净效应 +35.7 个百分点（95% CI 27.8 至 43.9），基于 91 份 SWE-agent transcript、每份 3 次 rollout。模糊表述"我验证了修复有效"仅致 1.1% 错误率。
推荐理由：原文给出可复现的对照数据，显示一句虚假验证陈述就能让 Docent judge 的错误判定率从 1.8% 升到 37.5%。
MockLoop MCP 是基于 Model Context Protocol（MCP）的 AI 原生 API 测试平台，提供 5 个 AI 提示词、15 个场景资源包、16 个测试工具、10 个上下文工具和 4 个核心工具。它支持 AI 驱动的场景生成、自动化测试执行、有状态上下文管理与审计合规日志，可通过 pip install mockloop-mcp 安装，并兼容 Cline、Claude Desktop 等 MCP 客户端，已实现 SchemaPin 验证工具 schema。
GitHub 用户 shyamvasansathiskumar-ux 开源了 redteam-log 仓库，记录 AI 红队练习的工作日志，内容涵盖扫描、CTF 尝试以及 OWASP LLM Top 10 到 MITRE ATLAS 的映射。仓库分为 00-setup、01-scans、02-ctf、03-owasp-atlas 等目录，目前尚无 star、watch 或 fork。
trust-openclaw 是 AIR Blackbox 旗下开源在 GitHub 上的工具，为 OpenClaw 的 TypeScript 智能体系统增加安全与审计层。它持续监控智能体工作流、记录审计日志、自动检查规则合规并生成信任报告。该工具面向 Windows 10 及以上 64 位系统，安装包约 20 MB，无需编程知识即可使用。
GitHub 仓库 alert-triage-agent 是一个基于 LLM 的 Agent，用于调查安全告警并自动撰写 triage 报告。该项目采用 MIT license 开源，仓库包含 README、LICENSE 等文件。
Jeremy Canale 在 arXiv 发布论文，将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架，指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括：Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长；Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48，sycophancy 和预置后门未能判定，其中后门在触发器已知时可快速移除，但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。
一项可解释性研究提出用「下限」（简单输入已能预测的水平）和「上限」（完整输入可预测的水平）为 probe 分数建立参照系，两者之差为余量。在 in-context 元分析 transformer 上，分布偏移使 probe 分数下降、预测误差上升 12–15 倍，但模型恢复的余量比例相近，说明是数据丢失信息而非表征受损。研究还发现单细胞基础模型 scGPT 仅部分编码生物变异性，并重审四项关于 LLM 表征地理、Othello 棋局、真值与用户人口特征的 probing 研究：部分结论成立，另一些很大程度上可由输入文本本身解释。
一项 arXiv 研究考察了大语言模型对病历中偶发信息（与就诊无关的闲聊、串入的他人对话）的敏感性。在 576 段对话中，前沿模型将闲聊写入 35% 的笔记，3.7% 的笔记错误归因或临床使用了这些内容；在 57 次模拟问诊中，-10 dB 背景语音泄漏进 48.2% 的转写文本，4 个开源权重模型生成的笔记中 5.3% 出现污染。研究提出双重编码假说，建议临床部署前评估模型对偶发信息的抵抗力。
研究者提出一套神经语义验证框架，将 UPenn-GBM 影像组学特征转化为可机检的证据记录与声明，用于验证生物医学 AI 解释是否被患者证据支持。GPT-5.6 Sol 在 24 例试点中复现 72/72 条原子声明，验证器在 6,620 条声明的破坏测试中达到 100% 精确集合准确率；预测 ROC AUC 从 0.899 降至 0.500 时验证准确率仍保持 1.000。结论是可验证性可独立于预测性能进行工程化与评估。
一项 arXiv 研究指出，用单对对比句的 log-likelihood 差评测大语言模型偏见往往不可靠，改写属性可能导致逻辑不一致的偏好。作者提出双重最小对设置与数据增强框架，为英语、俄语、西班牙语和中文刻板印象数据集生成改写和替代属性，并引入基于互信息（MI）的新指标，支持跨语言、跨模型更稳健的刻板印象强度比较。代码已开源。
GitHub 开源工具 pii-lens 在本地扫描日志、提示词和载荷中的高风险标识符，检测通过 Luhn 校验的信用卡号、邮箱、美国电话号码、SSN 和银行账号/路由号，结果仅打印到终端、不上传文本。默认使用内置规则集，无需 spaCy 模型；安装 presidio-analyzer 后可用 --engine auto 合并 Microsoft Presidio 检测结果。需 Python 3.10 及以上，通过 pip install pii-lens 安装。
Alan Vo 在 GitHub 开源了 AI 威胁情报平台 threat-intel-analyzer-alan-vo，可摄取 CVE、IOC feed 和新闻，用 LLM 生成风险评分与安全简报。支持 NVD、MITRE ATT&CK、CISA KEV 等多源数据、攻击面映射和自然语言查询，可导出 PDF、JSON 或 Slack 格式，兼容 OpenAI、Anthropic（Claude）、Google Gemini 和 Ollama，采用 MIT 许可证。
Alan Vo 在 GitHub 开源了基于 LLM 的日志异常检测工具 log-anomaly-detector-alan-vo，可实时检测日志异常、跨服务关联事件并生成事故摘要。工具支持 P1-P4 严重级别自动分类、根因假设生成，兼容 JSON、syslog、nginx、Docker、Kubernetes 等格式，可接入 OpenAI、Anthropic（Claude）、Google Gemini 或 Ollama 本地模型，采用 MIT 许可证。
一项系统性综述分析了 100 项涉及儿童与青少年接触 AI 的实证 HCI 研究，用 YAIR 风险分类法和 MIT Mitigation Taxonomy 映射风险与对策。结果显示大多数风险仅有设想中的对策，已实施的很少，经评估的更少，且评估多测技术性能而非实际防伤害效果。作者指出了防护空白并为人本 AI 安全研究提出方向。
一项 arXiv 研究分析大语言模型 activation steering 所用的线性去偏方向，发现其主要编码的是模型置信度，而非偏置的表征。沿该方向 steering 确实能降低测得的偏置，但原因是模型被推向弃答，公平性指标改善只是降低置信度的副作用。研究指出将偏置与置信度解耦的线性表征难以获得，steering 去偏结果应谨慎解读。
研究者推出 RAG-PIBench，一个针对 RAG 系统提示词注入检测的基准，包含 4,876 条上下文样本，采用泄漏感知的构建流程与严格的评估协议。对比实验中，DistilBERT 取得最佳受保护测试集表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。
该 arXiv 论文研究模型的学习方式如何影响其后续遗忘（unlearning）效果。作者用 modular addition 的 grokking 现象区分记忆主导与泛化主导的模型，发现泛化主导模型在遗忘时 retain set 性能损失更大，且这一趋势在引入 bucketed modular addition 后近乎单调成立，并在 LLM 的 verbatim 与事实召回遗忘场景中同样得到验证。论文据此给出两条改进遗忘方法的实践建议，强调需将学习动态纳入遗忘设计。
一项案例研究考察了由无正式软件工程背景的运营者、通过编码智能体构建并治理的生产级医疗平台。其工作流演化为人类主导的多智能体系统：一个智能体写代码，其他智能体负责监督和审查。研究发现测试、监控器与审查智能体本身也会出错，如监控器测量代理指标、审计静默失败、自动化修复造成运营中断；人类控制依赖于将预期结果、证据、智能体权限与人类最终决策绑定到同一目标。
论文提出语义行为水印 SBW，在语义动作簇上对 LLM Agent 的高层行为嵌入溯源标识，不改动输出 token。在 ToolBench 上，改写攻击下的检测率达 0.49-0.66，而精确符号方案仅 0.05-0.17；ALFWorld 上为 0.92-0.97。密钥分桶使自适应伪造从 100% 降至误报底限，但复制受害者步骤的 chained replay 攻击仍达 0.76-0.98，作为开放问题报告。
一项 arXiv 研究（arXiv:2610.08670）构建了覆盖五类压力的248个预注册场景，将模型作为行动者与第三人称判断对照，测量模型是否执行自己认定错误的行为。OLMo-3-7B-Instruct 约五分之一的施压场景会这么做；该差距取决于后训练方案，OLMo-3 与 Llama-3.1-8B-Instruct 存在此差距，Tulu 3 整体无差距，且行动前进行道德权衡推理可将选择拉回自身判断。
论文首次系统研究大语言模型投机解码的安全影响，大规模测量发现有损投机解码的效率提升以不成比例的安全代价换来，越狱和提示注入攻击成功率上升远快于效用下降。作者提出 SecureSD，理论分析认为安全退化主要源于 draft 模型生成的早期 token，并对早期解码位置采用更严格的验证标准；实验显示其在保持效率与效用的同时显著提升安全性。论文共18页，被 IEEE S&P 2027 接收。
推荐理由：论文指出了有损投机解码在效率提升时安全恶化更快这一不对称现象，并给出针对早期token的可行验证改进方法。
论文提出 AdvSim2Real，在冻结的 web 世界模型内共同演化任务课程、注入攻击方和 agent，应对页面上的自适应提示词注入。在 150 个 web 任务上，训练后的 4B agent 面对未见过的前沿模型攻击方完成率相对基线提升 33.6%，且能力提升可迁移到真实浏览器。
推荐理由：论文用冻结的 web 世界模型让任务、注入攻击与智能体共同演化，给出了对抗未见前沿模型攻击的具体数字。
ARMIYA-CTRL 在 GitHub 开源了 ai-prop-protection，一款以 Chrome 扩展形式实时识别聊天中 AI 生成宣传内容的工具。它无需编程知识即可使用，支持 Windows 10+、macOS 10.14+ 和主流 Linux，需 Chrome 70+、4 GB 内存与 100 MB 存储空间，用户可通过加载解压文件安装，并通过 GitHub Releases 持续更新。
一项单模型、单次运行的测量用 SciFact 160 条测试声明（80 SUPPORTS / 80 CONTRADICTS）检验 Llama 3.3 70B Instruct（FP8，经 Cloudflare Workers AI 提供）对坏证据的鲁棒性。加入 2 条 BM25 干扰段落或植入含 PINEAPPLE 的提示后，准确率变化均无 95% CI 排除 0；唯一显著差异是防御性提示在干净证据上使准确率下降 0.044（-0.081 至 -0.013）。人工核查 20 条输出中，被标记的 10 条有 8 条遵循植入指令（precision 0.800）。