Moral Combat：基于道德基础理论的 LLM 越狱框架研究
arXiv 论文提出基于道德基础理论（MFT）的多智能体越狱框架，将被拒的有害请求改写为符合某种道德基础的表述并辅以先例强化。在三个越狱数据集、五个开源与闭源模型上测试，单次尝试即有较高成功率，重复尝试后进一步提升；分析还发现现有安全基准所违反的道德基础分布不均，集中在模型已有偏见的维度上。
推荐理由：论文用道德重写框架在五个模型上实测越狱成功率，并指出安全基准在道德维度上的分布偏差。
内容形态
AI 安全 最新动态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
更新
精选归档 · 第 7 页
arXiv · cs.CL精选AI 评分5656 GitHub · 灵魂体仓库精选AI 评分6161 
FlologixAI 开源终端编码 Agent Marv 0.5.0
FlologixAI 发布了用 Rust 编写的终端编码 Agent Marv，以单个静态二进制分发，支持 OpenRouter 或本地 Ollama 模型。它能读写文件、在 bubblewrap 沙箱中运行命令，默认 yolo 模式下沙箱内操作免审批，网络访问、git 写入和受保护文件仍需确认，并对外部文本做提示词注入防护。0.5.0 仅提供 Linux x86_64 和 aarch64 二进制，Windows 需走 WSL，暂无 macOS 构建。
推荐理由：原文详细说明了沙箱、审批和提示词注入防护的具体规则，读者可以据此评估这个终端编码 Agent 的安全设计是否值得采用。
arXiv · cs.AI精选AI 评分5252 arXiv 论文揭示目标误泛化中策略对齐的三种不同失败形式
arXiv 论文 2610.19731 研究目标误泛化中目标在智能体内部丢失的机制，在 3 个 Procgen 环境和 5 个机器人任务上识别出三种策略-目标失准形式：功能目标替换、动作捷径和线索竞争。通过追踪目标信息在内部的位置、对策略的影响强度和作用，发现目标丢失发生在不同深度；目标到达决策层时引导可将目标达成率从 16.0% 提到 95.3%，只到策略层时需改接下游线路，从 31.6% 提到 84.3%，完全失效时两者均无效。
推荐理由：论文把目标误泛化拆成三种不同深度的策略失准，并给出每种情形对应哪种修复手段有效的实测数据。
GitHub · 去对齐工具与仓库精选AI 评分6464 YBM 开源：可从网页、Telegram 和 WhatsApp 访问的本地 AI Agent
GitHub 项目 oney-erge/YBM 发布，这是一个运行在本地机器上的 AI Agent，可通过网页、Telegram 和 WhatsApp 访问，把消息变成直接回复或可追溯任务，支持文件、终端、Chrome、VS Code、桌面控制、定时任务、MCP 服务器和编码 Agent 等工具。每个任务按 Plan、Approve、Execute、Verify、Receipt 五阶段执行，可随时中止；终端、文件写入、浏览器和桌面控制等高风险能力默认关闭，审批精确、限时且一次性使用，任务保留审计记录。可用 Ollama、LM Studio、LocalDeploy 等本地模型或 API key，Windows 测试最充分，桌面控制在 Windows 才可用；目前为 alpha 软件，MIT 许可。
推荐理由：开源本地 Agent 项目 YBM，用 Plan 到 Receipt 五阶段流程让每步高风险操作可审批、可追溯，适合想在自己电脑上放手跑任务的人。
GitHub · 去对齐工具与仓库精选AI 评分6464 Humanbound 开源 AI Agent 对抗测试引擎与 CLI/SDK
shota544 发布开源项目 humanbound，提供针对 AI Agent 的对抗测试引擎、SDK 和 CLI，通过多轮对话、工具滥用探测真实端点，并按安全策略打分（0-100、A-F）。测试失败可通过 hb guardrails 转成可部署的防火墙规则，支持 Ollama 全离线运行和 hb arena 本地易受攻击 Agent 练习，Apache-2.0 协议。
推荐理由：原文给出从对抗测试到生成防火墙规则的完整工作流，且测试失败结果可直接转成部署用防护规则。
GitHub · 3D 生成新仓库精选AI 评分5858 PyAPICheck 开源：基于 OpenAPI 与真实流量的 API 安全风险评分工具
Mullassery 发布 PyAPICheck，通过分析 OpenAPI 规范并与真实网关流量交叉比对来发现 API 安全问题，每项风险都附带可核查的具体原因。核心功能包括规范发现、漂移检测、僵尸/影子端点识别、基于 MCP 配置的 AI agent 安全图建模、行为基线与 Cedar 策略生成，采用 Rust 内核加 Python 绑定，经 PyPI 分发，要求 Python ≥ 3.9。项目定位为咨询型工具，不部署到网关，AI Security Analyst（Phase 5）尚未实现，Envoy 配置需在 staging 环境验证后使用。
推荐理由：README 明确列出已实现与未实现阶段，并给出与 ZAP 等扫描器的分工边界，读者可据此判断该工具当前的实际成熟度。
arXiv · cs.CL精选AI 评分5555 arXiv 论文：提示词注入探针学到的是对话特征而非注入本身
arXiv 论文（2610.18408）发现间接提示词注入的线性探针标准评测可被非模型特征通过，仅凭对话位置和文本长度就达到 0.91-0.98 AUROC。作者将无注入对话和形似注入的无害文本作为匹配负样本加入训练数据，在六个开源模型上，默认阈值下对无注入对话的误报率从 41-80% 降至 4-27%，对无害形似文本从 92-98% 降至 3-16%，同时在正常流量阈值下仍能检出中位数 95% 骗过智能体的攻击（不加数据为 91%）。在新应用中误报保持低位，但检出率取决于模型和阈值设定；同一数据也帮助纯文本过滤器。
推荐理由：论文指出注入探针评测可被对话位置和文本长度骗过，并给出用匹配负样本把误报率大幅压低的数据。
arXiv · cs.CL精选AI 评分6060 arXiv 论文研究 LLM 智能体间谈判：持有一方决定资金转移量
arXiv 论文（arXiv:2610.18424）对 15 个语言模型智能体进行了 1,049 场循环赛谈判，发现知道哪一方持有 $100 资金可解释转移金额方差的 47%，而知道请求方仅解释 2%。文中显示最不亏的持有方是拒绝首次请求的一方，其首轮拒绝率与总亏损排序的相关系数为 -0.73；用几乎无拒绝的说服语料微调 Qwen3-8B 使其作为持有方给出资金从 12% 升到 84%，把两个从不亏损的持有方蒸馏进 4B 学生模型则将亏损从 95% 降到 1%。作者建议对持有资源的智能体评测应测试其持有角色表现，包括说服微调之后。
推荐理由：论文给出多智能体谈判中持有方角色对结果的主导性量化证据，并提示对持有资源的 Agent 评测应纳入持有角色与说服微调后的表现。
arXiv · cs.CL精选AI 评分5353 研究实测 ChatGPT 健康建议安全性：四国 20 万对话中约五分之一为高风险
一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话，筛出 15,555 条健康对话做安全评测，约五分之一获高风险评级。风险集中在症状与病情类提问，表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医；加入用户自身上下文后高风险比例上升 13-17 个百分点，约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。
推荐理由：论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性，发现合成评测可能漏掉的风险模式。
arXiv · cs.AI精选AI 评分5454 GUIDE：面向可信临床实践指南更新的计算增强共识系统
Yuanfan Lin 等人在 arXiv 发布 GUIDE，一个用于人类与 AI 协作生成和更新临床实践指南（CPG）的多智能体 copilot 系统，将劳动密集型任务交给专用智能体，专家保留判断与最终仲裁。在 12 个 NICE 眼科数据集上，GUIDE 实现文献召回率 88.85%、证据确定性评级一致率 86.06%、推荐一致率 91.67%，平均每个数据集耗时 162.17 分钟（人工干预 28.68%）；在心血管、内分泌、消化和呼吸领域 20 个数据集上表现稳定。消融分析显示移除专家干预会降低偏倚风险评估等判断密集环节的表现。
推荐理由：论文报告了在 NICE 眼科数据集上的文献召回率、推荐一致率与人工干预比例等数字，便于评估多智能体系统在指南更新中的实际表现。
Embrace The Red · AI 攻防研究精选AI 评分7171 
Visual Studio Copilot 文件名尾点绕过漏洞 CVE-2026-103572 分析与补丁发布
Embrace The Red 作者披露 Microsoft 已修补 Visual Studio Copilot 中的远程代码执行漏洞 CVE-2026-103572，CVSS 8.8，影响 Visual Studio 2026 与 SSMS。根因是 Win32 忽略文件名末尾的点，攻击者可用 settings.json. 之类尾点文件名绕过路径校验，写入 .mcp.json 与设置文件实现任意命令执行，漏洞位于共享的 Microsoft.VisualStudio.Copilot.Core.dll，旧版 Visual Studio 2022 也受影响；作者还发现路径遍历与 InstallationID 泄露等附加问题。
推荐理由：作者披露了CVE-2026-103572的根因、攻击链与补丁分析，并提到微软对其Copilot漏洞未予赏金，读者可了解细节与披露经过。
AIHOT · 精选精选AI 评分5656 卡兹克实测 Gemini 4 Argon：知识工作强劲但体验糟糕，难撼 Claude Opus 5.5 与 GPT-6 Astra
Gemini 4 Argon 于 10 月 13 日全面开放，Pro 会员可在 Gemini APP 使用，Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强，Vals Index 综合第一（68.9）且单次成本仅 15.68 美元，但 CUA-bench 仅 4.83% 排倒数第二；前端效果不及 GPT-6 Astra，额度消耗快，中文写作味道重，整体体验糟糕，不建议订阅 Ultra。
推荐理由：作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据，可作为是否订阅 Ultra 的参考。
GitHub · 去对齐工具与仓库精选AI 评分5858 
Sahil-SS9 开源 llm-judge-jury-executioner 多模型评审 CLI v1.1
Sahil-SS9 发布 llm-judge-jury-executioner v1.1，可经 Claude Code 技能或独立 CLI 调用多个独立模型对决策进行评审，提供 vote、synthesize、critique、redteam、mav 和完整 deliberate 六种协议。流程包含并行独立评审、匿名交叉质询、独立级联破解与主席综合，输出 Markdown、稳定 JSON 与转义 HTML 审计产物；配额失败时以 fail-closed 方式返回 REVISE 并保留审计证据，README 未声称实际真实供应商输出质量。
推荐理由：原文列出了六种评审协议的阶段构成和故障处理语义，读者可以直接对照选型并部署这个多模型评审 CLI。
AIHOT · 精选精选AI 评分5757 Google DeepMind 发布 Gemini 4 Argon 并公布安全与防护细节
Google DeepMind 发布 Gemini 4 Argon 并开始广泛推出，同时扩大 Fairwind Program 面向受信任的网络防御者。模型解决了全部 12 个端到端模拟网络攻击场景（上一代为 5 个），Wiz 用其发现此前模型遗漏的医院软件关键漏洞，涉及数十万患者记录。
推荐理由：稿件保留了模型在 12 个端到端网络攻击模拟场景的成绩和 Wiz 发现医院漏洞的实例，可据此了解其安全能力证据。
GitHub · 去对齐工具与仓库精选AI 评分6363 NathanYearout 开源支付事件 webhook 调试器 tailhook
作者开源 tailhook，一个部署在 webhook 发送方与应用之间的支付事件调试器，负责验签、幂等去重、重试转发和死信队列，并用 Bedrock 上的 Claude 通过四个只读工具解释扣费失败原因。项目用 Terraform 一键部署，60 秒压测发送 60,000 条事件、零丢失，Agent 评测含 18 个用例且用字符串断言而非 LLM judge 打分。
推荐理由：作者开源了一个支付 webhook 调试工具，附架构说明、压测数据和 18 个 Agent 评测用例，部署脚本可直接复用。
GitHub · 去对齐工具与仓库精选AI 评分5757 
INFOKOM-KI 开源面向 Claude Desktop 的 Wazuh SIEM 蓝队 MCP Server
INFOKOM-KI 发布 Wazuh-MCP-Server，一个供 Claude Desktop 等 MCP 客户端使用的防御性蓝队服务器，注册 160 个工具加 4 个资源，设置 WAZUH_READ_ONLY=true 时为 134 个。覆盖 Wazuh SIEM 检索、多源威胁情报聚合、MITRE 驱动的 3-Sum APT 关联、攻击图、LangGraph 调查流程、本地案例 RAG、主机取证，以及可选的 HDBSCAN 聚类与 ATT&CK 事件标注，默认只读。
推荐理由：仓库用 22 条标注提示词实测了 BM25 与两个交叉编码器的路由准确率和延迟，结论可直接复用到类似工具路由设计。
GitHub · 去对齐工具与仓库精选AI 评分6060 Directive 开源 TypeScript 约束驱动运行时，内置 AI 护栏与多智能体编排
directive-run 在 GitHub 发布 Directive，一个约束驱动的 TypeScript 运行时：开发者声明必须为真的事实，运行时通过 resolver 自动完成获取、重试、批处理和错误恢复。其 AI 包提供 4 个 LLM 适配器（OpenAI、Anthropic、Ollama、Gemini，纯 fetch 零 SDK 依赖）、PII 脱敏、prompt injection 检测、内容审核、成本与预算控制及并行、序列、supervisor、debate、DAG 等多智能体模式。
推荐理由：原文给出了约束驱动状态运行时的具体用法代码和与传统状态库的对比表，读者可以直接评估是否引入到自己的 TypeScript 项目。
80 Level · CG 与游戏美术精选AI 评分6565 Epic Games 要求开发者弃用手写代码，转向 AI 优先生产模式
据 Bloomberg 报道，Epic Games 推迟了一款未公布的漫威与星球大战射击游戏，并要求团队围绕 AI 工具重建生产模式。游戏总监要求不再手写代码，改为编辑和引导 AI 智能体，CEO Tim Sweeney 确认公司正在大规模调整人员以加速 AI 应用。该项目原计划 2027 年 3 月推出，目前未通知新档期。Epic 今年 3 月曾裁员约 20% 超 1000 人。
推荐理由：报道把 Epic 的 AI 转向放在裁员与 UE6 路线的背景下，便于比较口号式 AI 指令与一般工作室用 AI 的差别。
GitHub · 去对齐工具与仓库精选AI 评分7272 clownware/bouncer 开源：给 Claude Code 工具调用加判断层
clownware 开源 bouncer，一个面向 Claude Code 工具调用的判断层插件，用快速判断模型 Jev 对每次 PreToolUse 调用回答七个英文问题并按阈值裁决，成本约每天 4 美分。策略问题与阈值由用户 YAML 文件管理，内置 22 条硬规则兜底，提供 observe、seatbelt、guard、full 四种模式，v0.2 的 gate 已上线。校准数据来自 2026-10-11 对 jev-1.13.0 的实测运行，112 条手工标注 fixture 上七问全部通过 0.85 准确率门槛，bouncer judge 用于批处理级联，只把升级项交给推理模型。
推荐理由：项目给出实测校准数据、硬规则拦截案例和三条基线的级联成本对比，读者可以看到判断模型替代推理模型的收益是怎么测出来的。
GitHub · 去对齐工具与仓库精选AI 评分5656 TAIPANBOX 发布 heraldyx v0.4.0：把 Agent 治理栈的 NDJSON 事件日志变成邮件告警
TAIPANBOX 发布 heraldyx，一个读取其 Agent 治理栈共享 NDJSON 事件日志的只读组件，把需要人工知晓的事件通过操作员自己的 SMTP 邮箱发出，并附一条指向 Genaryx 控制台的纯查看链接。它按严重度下限、去重窗口（默认 600 秒）和每小时上限（默认 20 条）三层限流，阈值以下事件进入每日摘要；发布 ghcr.io/taipanbox/heraldyx:v0.4.0 镜像，支持 linux/amd64 与 linux/arm64，自 v0.2.3 起带 Sigstore 签名、构建来源证明和 SBOM，可用 cosign 与 gh 验证；许可证 Apache-2.0。
推荐理由：原文把告警组件的外发能力收敛到一句话，并用 CI 脚本实测验证，读完能看清这套 Agent 治理栈里告警边界的做法。