跳到正文
#安全/对齐
10月23日周五
10月22日周四
  2. GitHub · 3D 生成新仓库31

    Sentinel Governed Workflow Twin 开源：治理型智能体工作流参考实现

    Juan A. Martinez Diaz（BAI 创始人）发布开源参考实现 Sentinel Governed Workflow Twin，展示 AI 智能体“有能力”不等于“被授权”：通过授权注册表、确定性仲裁、HMAC 签名许可与证据账本执行受治理的工作流。项目内置 17 步合成金融服务工作流，24 项参考测试已于 2026 年 10 月 20 日在 CI 中通过；合成基准显示周期时间从 960 分钟降至 190 分钟、决策证据完整性从 45% 升至 100%。

  3. GitHub · 灵魂体仓库72

    Latet 开源 AI Agent 本地隐私防火墙

    Latet-AI 发布开源的 AI Agent 本地隐私防火墙，在请求离开本机前掩码密钥、密码和个人数据，并在回答中本地还原，云端模型只见假值。支持 Claude Code、Codex、Gemini CLI、Hermes Agent 等的插件与网关接入，可选本地名称模型（约 1.6 GB）、OCR 和本地语言模型审查，93 个测试用例中 Qwen3.5-4B 检出 84%、Ternary-Bonsai-2-27B 检出 97%。项目无云端服务与遥测，采用 source-available 许可，文档在 https://docs.latet.ai/ 。

    推荐理由：README 讲清了本地防火墙的掩码与还原机制、各 Agent 接入方式和已知盲区，适合想在敏感数据上用云端模型的人评估可迁移做法。

  4. GitHub · 去对齐工具与仓库47

    GitHub 开源 contract_heldout_ipi：LLM 智能体 IPI 防御评测协议

    GitHub 上的 contract_heldout_ipi 项目提供一套 LLM 智能体间接提示注入（IPI）防御评测协议，包含可机器读取的 episode contract、referee 校验和 train 与 held-out 的迁移差距报告，并强调这不是新威胁模型或最强防御声明。项目支持通过 OpenAI 兼容配置运行攻击、防御、judge 等多模型基线，也支持经 Cursor 调用 Grok 4.5 等模型，并内置 EmailSandbox 邮件场景与自适应攻防、协商共演化协议，ASR 由工具轨迹确定性评分。

  5. GitHub · 灵魂体仓库66

    jailbreak-skill：一个 LLM 红队提示词工程方法论仓库

    ADWMC 在 GitHub 发布 jailbreak-skill，一套面向 LLM 红队评估的提示词工程方法论，主张先规划假设、再组装提示词、最后凭证据判定，而非直接给出可复制的提示词。仓库含 19 个提示词模块、14 份方法论文档、3 条厂商路线和 4 级测试集，所有声明按 E0 到 E3 分级，并明确平台拦截、毒品武器类请求和直接索要成人内容属于已知死路。项目采用 CC BY-NC-SA 4.0 许可，作者强调这不是 OSI 开源许可证。

    推荐理由：它把越狱测试整理成可冻结的判定标准和证据分级方法，并明说了哪些域救不了，适合想系统做红队评估的读者。

  6. GitHub · 灵魂体仓库60

    BaleenCode 开源：基于 DeepSeek V4.1 Flash 的本地 Agent 工具，通过 provider 允许列表避免数据流向中国服务器

    Manta-Boardgame 发布开源工具 BaleenCode，类 Claude Code 的 Agent 应用，通过 Vercel AI Gateway 调用 deepseek/deepseek-v4.1-flash-1017（1M token 上下文），每次请求携带 providerOptions.gateway.only 允许列表，只使用 Together AI、Fireworks、Baseten、DeepInfra、Relace 五家美国零数据保留供应商，拒绝 Alibaba Cloud 和 DeepSeek 官方路由，回复若来自列表外公司会告警并 fail closed。

    推荐理由：作者开源了一个类 Claude Code 的 Agent 工具，把 provider 允许列表、路径限制和审批级别的实现都写清楚了，可作工程参考。

  7. GitHub · 去对齐工具与仓库21

    AI-Safety：面向 ML 与安全工程师的开源 AI 安全研究课程仓库

    GitHub 上的 AI-Safety 仓库为有经验的 ML 工程师、安全工程师及有志于 AI 安全研究者提供开源研究课程与项目仓库，核心路径免费、无需付费 API 或订阅。目前为在建状态：24 章和 10 个项目中完成 0 个，规划与治理层已验证，内容按章节分阶段发布，提供对齐研究、AI 安全工程、评测与保障三条路线，代码采用 MIT 许可、文本采用 CC BY 4.0。

  8. GitHub · 去对齐工具与仓库45

    AI Guardian Lab：在 AI 智能体执行 shell 命令前进行策略校验的开源工具

    AI Guardian Lab 在 AI 智能体执行 shell 命令前校验命令，智能体提议命令后由 Guardian 按 L1 allowlist、L2 模式、L3 意图和 L4 语义审查四层检查，默认仅模拟、不真实执行。1.6 版本提供 full profile，经 Ollama 启动本地小模型与 System One 观察者，System One 在 CPU PyTorch 2.13.0 上通过 shadow-only 验证，500 ms 预算仍不满足，full profile 采用 2 秒预算，强制执行在两种 profile 中均保持关闭。

  9. GitHub · 去对齐工具与仓库35

    FraudDistill：面向 LLM 欺诈协助响应检测的研究与实验框架开源

    GitHub 开源 FraudDistill 框架，用于检测大模型面对欺诈诱导时实际生成的回答是否构成欺诈协助，主张该属性是响应级且关系性的，需联合观察查询与回答。框架用 Multi-Agent Teacher 生成结构化信号，经 QLoRA 蒸馏出 1.5B 学生模型支持低成本本地推理，并通过 15% 查询率的选择性审计级联恢复召回，已在 Qwen、DeepSeek、GLM、Kimi 等 6 个直连目标模型上实测验证。

  10. GitHub · 灵魂体仓库65

    Split-View PDF 论文开源样本与验证代码，论文被 IEEE S&P 2027 接收

    Side Liu 和 Jiang Ming 的论文 What Users See Is Not What Models Read 被 IEEE S&P 2027 接收，仓库公开了配套样本与验证代码。内容包括 25 个最小提取差异 PDF（corpus_a）、25 个下游 LLM 评测 PDF 和 11 个 QA 适配 PDF，以及开源 PDF 解析器验证和 LLM API/Web 验证脚本，支持在 Ubuntu 上用 Python 3.10+ 和 Node.js 20.16+ 复现。

    推荐理由：论文配套仓库放出全部样本和验证代码，读者可以实际复现 PDF 对人和对模型显示内容不一致的攻击测试。

  11. GitHub · 灵魂体仓库47

    Nemesis Analyst：AI 辅助恶意软件脱壳与分析的开源工具

    GitHub 开源项目 Nemesis Analyst 提供 AI 辅助的恶意软件脱壳与分析：在一次性 Windows VM 中用 x64dbg/x32dbg 运行加壳样本，在自解包时捕获真实 payload、恢复勒索软件密钥并可生成解密器。每次运行输出 ANALYSIS.pdf 报告及含 YARA、Sigma、Suricata、STIX、IOC 的检测包，并可经 MCP 从任意 LLM 驱动；文档演示了对 packed Dridex 样本的完整分析。

  12. GitHub · 灵魂体仓库45

    Ariadne：基于 Harbor 的语言模型智能体安全挑战评测框架开源

    开源项目 Ariadne 基于 Harbor 评测语言模型智能体解决安全挑战的能力，任务改编自公开 CTF 题目和 CVE。所有任务在经过隔离校验的 Docker 沙箱中运行，由独立 verifier 容器评分，web_search 与 web_fetch 经过主机端 web 过滤器，容器无互联网路由，API 密钥不进入容器。该项目为概念验证，每个实验每任务跑 3 次独立尝试并冻结配置；公开的 Mistral Large 4 和 MiMo v2.6 Pro 两次 pwn-01 探索性尝试均未解题，都在时限前耗尽上下文。

  13. GitHub · 灵魂体仓库57

    zero-trust-llm-firewall 开源：本地脱敏网关让律所安全使用 Claude 和 GPT

    typicaladrian 发布 zero-trust-llm-firewall，一个本地部署网关，在提示词离开内网前将姓名、案卷、金融和健康信息替换为占位符，模型回复再在内存中还原。流水线为正则、哈希客户名单、GLiNER2 NER 和全局一致性扫描，在 CUAD 合同上测得 91.4% 脱敏召回率，CPU 吞吐约每千词 11 秒；提供 OpenAI 兼容 API、审计日志和月度 PDF 报告，是 Elm Tech Solutions Zero-Trust AI Edge Gateway 硬件产品的核心。

    推荐理由：开源的本地脱敏网关，给出了基于 CUAD 合同的脱敏召回率实测数据，律所类隐私场景可直接参考复用。

  14. Reddit · r/SillyTavernAI10

    用户求助：MiMo v2.5 pro 通过 OpenRouter 拒绝了其 NSFW 请求

    一位用户通过 OpenRouter 调用小米的 MiMo v2.5 pro 时，即使使用了越狱提示词，模型仍拒绝了其 NSFW 回复请求，遂在 Reddit 上求助。该用户还补充说明，这些请求来自其在 Telegram 上搭建的多个机器人，部分是完全“游戏化”的机器人，希望消息发送和通知功能有更多自由度。

  15. GitHub · 灵魂体仓库60

    llm-fw 发布本地 LLM 流量防火墙，实时拦截提示注入且无需改代码

    llm-fw 发布本地 LLM 流量防火墙，通过 HTTPS_PROXY 或 OS 级 sinkhole 部署在工具与 API 之间，实时拦截提示注入和越狱请求，无需修改代码、全程不出本机。采用启发式规则、跨语言嵌入向量、可选本地 LLM judge 三级管线，覆盖 OpenAI、Anthropic、Gemini 等 15+ 服务商和 20+ 语言，另含 DLP 密钥扫描、MCP 工具防火墙、RAG 投毒检测和响应侧外泄过滤；自测 110 条攻击全部召回、良性语料 FPR 13.38%，p50 延迟 36ms。软件并非开源，采用 PolyForm Noncommercial License 1.0.0，非商业用途免费，商业使用需购买许可证。

    推荐理由：原文给出了各攻击类别的召回率、误报率和延迟数据，读者可以据此评估这个本地防火墙实际拦截能力，而不仅是功能清单。

  16. GitHub · 3D 生成新仓库33

    ChaosGuard：自托管的 AI 代码安全扫描与混沌工程平台

    开源项目 ChaosGuard 是一个自托管 AI 安全平台，可扫描任意 GitHub 仓库，提供 RECON、HUNTER、SIEGE、LIVE 四级递进扫描，耗时从约 1 秒到约 35 分钟不等。每项发现均附带自动生成的代码修复、统一 diff 和一键创建 PR。平台通过 Ollama 本地推理、ChromaDB 进行 RAG 代码理解，基于 Kafka 的架构可从单机扩展到 Kubernetes 集群，并提供混沌工程韧性分析与完整可观测性栈。

  17. AIHOT · 精选29

    OpenAI 发布 Codex 技能帮助网站自查 PHP 关键漏洞影响

    OpenAI 发布 Codex 技能，引导用户运行 github.com/openai/php2shell-checker 仓库自查网站是否受 PHP 关键漏洞影响。该漏洞源于其 Patch the Planet 计划中 OpenAI 模型协助研究员发现，修复涉及 PHP 引擎大改，经约两个月协调后披露。使用 PHP 的网站可升级版本并应用安全厂商的缓解措施。

  18. GitHub · 去对齐工具与仓库25

    Arielsnts/QS_2026-2_AnythingLLM_atividade2：生成式 AI 质量评估课程作业仓库

    该仓库是软件质量课程 2026.2 学期作业（AV2），围绕 AnythingLLM 开展「Contexto sob Pressão」测试：对比 P1、P2、P3 三版提示词在正确、缺失、无关与冲突上下文下的表现，审计引用来源并给出改进计划。仓库含测试用例、证据与威胁模型文档，支持克隆复现。

10月21日周三
  1. Reddit · r/LocalLLaMA20

    opencode 使用本地模型时是否仍向其服务器发送聊天数据？LocalLLaMA 用户提出疑问

    一位 Reddit r/LocalLLaMA 用户称，opencode 在搭配本地 qwen3.8 模型时仍建立网络连接，据 Gemini 的回答，其默认会将聊天内容发送到自己的服务器用于生成标题、compaction 等。发帖者担心该工具获 VC 资助且做法不够透明，询问是否属实及有何替代方案。

  6. GitHub · 灵魂体仓库62

    Provael 发布：仿真中对开源 VLA 机器人策略做红队评测的 CLI 工具

    Provael 发布了一个 Python CLI，在仿真环境中对开源 VLA 机器人策略做红队测试，报告对抗攻击成功率（ASR）并附良性对照、95% 区间和证据标签，Apache-2.0 开源、可经 pip 安装并接入 CI。CPU stub 确定性运行 20 秒内产出报告；实测配置 SmolVLA × LIBERO-Object 在 roleplay 指令下 42/50 离开 keep-out 包络（84%），良性基线 1/50，McNemar p = 9.1e-13，对照显示这是长命令下的脆弱性而非攻击者控制；π0.5 有初步实测，其余注册适配器为脚手架。工具仅限仿真与防御用途，输出 report.json、SARIF、OSCAL、CycloneDX ML-BOM 和签名证明等证据包。

    推荐理由：README 给出对抗攻击成功率与良性对照并列的实测数据，可看到纯仿真红队 VLA 策略的完整证据链做法。

  7. GitHub · 灵魂体仓库27

    jihwan21-kim/llm_agents：面向浏览器智能体实验的本地 Mock + mitmproxy 录制与回放环境

    GitHub 仓库 jihwan21-kim/llm_agents 更新了面向浏览器智能体实验的本地回放环境：支持显式选择加入的公开站点 POST 录制（PUT/PATCH/DELETE 仍被拦截，清洗后的 HAR 会丢弃 POST 内容），并提供代理 Chrome 起始页、破损 mock 按钮的可视化编辑器和站点允许列表策略。原始第三方 JavaScript 仅以只读形式归档供查看，不执行；快照点击成功不代表源码运行时或后端等价。

  9. Reddit · r/SillyTavernAI24

    Argon 的 JB 设置有人跑通了吗？Reddit 用户求助拒绝与截断问题

    Reddit 用户发帖称 Argon 仍频繁返回拒绝，求可用的 JB（越狱预设）方案。其表示 Realistic Frankenstein 预设能缓解但回复变得机械且中途截断；目前通过 aistudio 的代理接入以避开 OpenRouter 的费用，尚未尝试需 $50 验证账户的 Google Vertex，希望社区分享无拒绝的设置。

  10. arXiv · cs.CL46

    投毒式后门无法实现密码学式不可逆性

    一篇 NeurIPS 2026 论文证明，基于投毒安装的神经网络后门无法具备密码学认证那样的不对称性：难以学习的 verifier 无法通过投毒安装，而投毒能安装的 verifier 也可被掌握足够触发样本的白盒防御者重建。推理期注入密钥同样可被该防御者观测。在指令微调大语言模型上的实验验证了这一二分法，未发现任何配置能同时实现攻击有效且防御者无法恢复的后门。

  11. arXiv · cs.CL26

    Contextual Candour：面向 LLM 混合敏感上下文的角色感知分级披露方法

    一篇 arXiv 论文提出"分级披露"（graduated disclosure），让 LLM 根据用户授权级别调整回复的信息详细度，而非简单的全答或拒答。方法将其建模为披露感知生成问题，用基于奖励的优化惩罚未经授权的事实泄露（包括改写和近似表述）。在企业和临床 benchmark 上，该方法较提示词、门控和监督基线显著减少信息泄露，同时保持正确性与实用性。

  12. arXiv · cs.CL48

    奖励错误设定会损害语言模型思维链的可监控性

    一项 arXiv 研究表明，RL 中的奖励错误设定本身就会降低语言模型思维链（CoT）的可监控性：在 3 个模型、3 个任务的测试环境中，随 hack 率上升，模型的 CoT 仍在推理任务真实意图，而输出却违反意图并获得奖励。研究者通过收集多样化奖励的 rollout 并用语言模型推断奖励描述、注入输入进行奖励描述训练，无需预知真实奖励即可让可监控性平均提升 24% 或绝对提升 42%。

  13. arXiv · cs.CL53

    Masahiro Kaneko 提出 LLM Agent 持久记忆中的自我强化隐私泄露循环

    Masahiro Kaneko 在 arXiv 论文（arXiv:2610.28315）中发现，LLM Agent 在对话中读取持久记忆会引发自我强化的隐私泄露循环。多会话仿真中，带 24 项个人属性的模拟用户与支持类 Agent 对话，四个支持模型里读取记忆既提升回复质量也提高属性被正确推断的比例，且差距随会话扩大，因为记忆条件回复把旧值作为预设带入，用户确认或不纠正使其变成记录值。指示 Agent 不陈述或预设属性可将泄露降到接近无记忆水平并保留大部分质量增益，而过滤或匿名化用户输入或存储内容会损失较多质量。

    推荐理由：这篇研究用多会话仿真揭示了带持久记忆的 LLM Agent 中自我强化的隐私泄露循环，并给出在回复端抑制泄露的可行做法。

  14. arXiv · cs.CL45

    MAS-Guard：从单体 Agent 到多 Agent LLM 系统的统一安全防护框架

    研究者提出 MAS-Guard，一个统一防护框架，可同时保护单 Agent 与多 Agent LLM 应用，包括可插桩与不透明 Agent。该框架结合本地 A-Guard 层的任务特定专家评估与系统级 Agent Charters 和 Control Plane 的确定性结构检查及语义评估，支持 allow、reflection、confirmation、block 四种干预手段。在覆盖三个不同厂商 LLM 的六个 benchmark 上，MAS-Guard 将整体攻击成功率相对无防护 Agent 降低 71.5-86.3%，同时在良性任务上满足效用参考标准。

  15. arXiv · cs.CL48

    为什么静态探针会失效：上下文决定 LLM 欺骗特征 composition

    该 arXiv 论文（arXiv:2610.27577）指出，LLM 欺骗检测中假设欺骗对应单一表示方向的线性探针难以跨场景泛化，提出用迭代正交分解将欺骗表示为多维子空间。由于静态组合存在强域依赖，作者引入域自适应门控机制，在测试时通过 few-shot 动态组合方向；仅用 10 个样本，方法在所有数据集上平均 AUROC 达 0.97、5% FPR 下 recall 为 94%，显著优于现有方法。

  16. arXiv · cs.CL49

    ABench：面向中文分类价值观的 LLM 对抗性基准

    研究者提出 ABench，一个针对中文分类价值观的细粒度手工基准，基于含 158 个价值子类目的层级分类体系，包含 2,895 个开放式问题，并用角色扮演、逻辑陷阱等方式探测模型在对抗情境下的立场稳定性。实验覆盖 16 个主流 LLM，结果显示多数模型在复杂价值观对抗攻击下得分低于 60，暴露明显脆弱性。该基准配套加权自动评估框架，数据将公开发布，已被 EMNLP 2026 主会接收。

  17. GitHub · 灵魂体仓库49

    Olivares AI 开源发布：统一管控 Claude Code、Codex 等 AI Agent 的 Cockpit 控制台

    Olivares AI 发布并完全开源，可统一查看和管控 Claude Code、Codex、Grok、Cursor 等 Agent 及 MCP 服务器的运行、权限与成本。它提供 Cockpit、Session、Access map 等界面，在 Claude Code 内、模型代理、每次 MCP 工具调用和 Agent 之间设置四个 deny-closed 检查点，风险操作需第二人批准，并用签名防篡改日志记录所有决策。产品含 32 个模块和 136 个集成，单个程序可部署在自己的服务器上，完整版免费开源，支持 Docker、Debian、RPM、Homebrew 等多种安装方式。

  18. arXiv · cs.AI24

    学习型屏障证书的任意时有效运行时监控方法

    研究者提出一种 anytime-valid 运行时监控器，用观测到的闭环轨迹审计学习型屏障证书（barrier certificate），检测其在部署中因动力学偏移而失去统计支持的情况。该方法将条件屏障漂移构造成逐回合序贯假设检验，把观测的屏障增量转化为非负检验上鞅，在任意停止时间下实现有限样本误报控制，并引入确定性时间整形使监控边界在部署初期更保守。该监控器不保证在不安全进入前检测或后续干预安全，代码与数据已开源。

  19. arXiv · cs.AI52

    RSI Control Arena 测试前沿模型能否在递归自我改进中隐蔽破坏后继模型

    一篇 arXiv 论文提出 RSI Control Arena 测试台，研究失对齐模型在训练后继模型时能否隐蔽植入失对齐属性。测试台含三类 16 个副任务、22 个任务对，覆盖从数据筛选到强化学习的训练流程，评估六个前沿模型。结果显示各模型都能在不损害主任务的情况下完成相当比例的副任务，最低限度的隐蔽指令即可让监控器漏检，提供规避策略清单进一步降低检出率；能读取模型推理的监控器能检出大多数攻击，但并非全部。

    推荐理由：论文提出 RSI Control Arena 测试台，用 16 个隐蔽副任务实测六款前沿模型在自我改进中的破坏能力与监控检出率。

  20. arXiv · cs.AI32

    ℓ1 攻击需要多集中的扰动？arXiv 研究解析扰动集中度对攻击成功率的影响

    一项 arXiv 研究为 APGD-ℓ1、SLIDE、FMN-ℓ1 三种攻击方法添加逐坐标上限并通过循环内精确投影强制约束，在 18 个标准模型设置中发现：上限不超过 32/255 时仍保留中位数 97% 的攻击成功率，同时峰值幅度下降 80%、有效支撑接近增至三倍。循环内约束优化比事后截断最多多保留 88 个百分点的攻击成功率，表明扰动集中度是 ℓ1 攻击评估中一个依赖模型与攻击的互补维度。