跳到正文
10月18日周日
  1. GitHub · 灵魂体仓库72

    mcpm CLI 发布:在本地拦截 MCP 服务器的提示词注入与工具投毒

    getmcpm/cli 发布 mcpm,一个本地优先的 MCP 安全 CLI,在安装时对 MCP 服务器做信任评分(含硬编码密钥、提示词注入、typosquatting 的正则静态扫描),并用 Sigstore 验证供应链、锁定工具定义。运行时 mcpm guard 通过本地 stdio relay 检查每次工具调用的请求、响应和工具定义,按 OWASP MCP Top 10 签名拦截注入与 rug-pull,macOS 上可选 OS 沙箱隔离。无云端、无账号、无遥测,强制路径中不含 LLM。

    推荐理由:工具在本地完成信任评分与运行时拦截,公开基准和误报数据一并列出,读者可据其口径评估 MCP 供应链防护的实际覆盖面。

  2. GitHub · 3D 生成新仓库49

    editorial-allure-prompting:一个帮助 Flow / GPT / Grok 绕过双重安全拦截的 3D 生成提示词项目

    GitHub 新仓库 we1jia/editorial-allure-prompting 通过把“性感”意图转译为高定服装、光影与克制运镜词汇,绕过 Google Flow(Veo/Imagen)、OpenAI GPT 和 Grok Imagine 的双重安全机制——前置提示词过滤与后置画面检测。项目提供五维转译词表、三大平台专属策略及含 35mm Kodak Portra 400 等后缀的万能五段公式模板。

  3. GitHub · 灵魂体仓库55

    AI.Sentinel 发布面向 IChatClient 与 Claude Code、Copilot、MCP 的 LLM 安全中间件

    MarcelRoozekrans 发布 AI.Sentinel,一个为 Microsoft.Extensions.AI IChatClient 打造的安全监控中间件,透明包装任意 LLM 客户端,对每个 prompt 和响应扫描 56 个检测器,外加 4 个可选的欧盟 AI 法案 Art. 5 合规检测器,可阻断、告警或记录威胁,并内置实时仪表盘。它还提供 Claude Code、GitHub Copilot 的原生 hook 适配器,以及 sentinel-mcp stdio 代理支持 Cursor、Continue、Cline、Windsurf 等 MCP 主机,零代码改动;支持工具调用审批工作流(内存、SQLite、Entra PIM 后端)。

    推荐理由:原文坦白了默认安装下多数语义检测器不生效、OWASP 覆盖大半靠配置,读者可以据此评估安全中间件的真实默认能力。

  4. GitHub · 灵魂体仓库42

    Guardian Wallet:具备强制策略边界的自主 AI 钱包智能体

    Guardian Wallet 是一个自主 AI 钱包智能体,用户用自然语言发起付款,由确定性策略引擎校验安全规则,智能合约金库强制执行每日额度与可信收款人限制,部署于 Base Sepolia(chain ID 84532)。即使 AI 模型被攻破或遭遇提示词注入,也无法突破支出限额。项目为 Fintechathon 而建,包含命令中心 Web UI、SHA-256 哈希链活动日志、一键紧急冻结与离线演示模式。

  5. GitHub · 灵魂体仓库60

    OpnAgent 仓库:用 Docker Compose 在 OpenShell 政策沙箱中部署 hermes-agent

    GitHub 仓库 NashiKanjou/OpnAgent 提供了把 hermes-agent(Nous Research)跑在 NVIDIA OpenShell 政策沙箱里的部署方案,由 JSON 设定档驱动、docker compose 一键部署,支持 Ubuntu Server 与 Docker ≥ 28.0。

    推荐理由:README 详细给出了在 NVIDIA OpenShell 政策沙箱中部署 hermes-agent 的完整架构与安全模型,真 key 不出 gateway 的做法可借鉴。

  6. GitHub · 灵魂体仓库58

    pawl 工具发布:拦截 Claude Code 削弱应用安全配置的提交

    adnair2024 发布了 pawl 工具,用于防止 Claude Code 在改代码时悄悄削弱应用的安全控制。它会快照现有的 Next.js 路由鉴权、Supabase 行级安全、CORS 和安全头,任何移除或放宽这些控制的提交都会被拦截,除非开发者附带理由接受变更。工具完全确定性运行、本地执行、不调用 LLM,面向 vibe coders。

    推荐理由:作者给出了拦截安全配置回退的具体机制,对 vibe coding 后的代码安全审查提供了可复用的本地方案。

  7. GitHub · 灵魂体仓库53

    llm-client 开源 Spanish 提示词注入测试工具,llama3.2 泄密率 33%

    作者发布了 llm-client,一个用西班牙语(含 Rioplatense voseo 口语)测试本地大模型抗提示词注入能力的极简 Python 工具包,定位为面向 AI Agent 的西语/葡语安全测试工具的基础。其 banco.py 给本地模型一个含密钥并禁止透露的系统提示词,多轮发送攻击库并自动检测密钥是否泄露。在 Ollama 本地 llama3.2 上每攻击跑 3 次,18 次尝试中 6 次泄露(33%),直接索要密钥全部失败,而要求模型复述自身指令的间接攻击 3/3 全中;部分回复口头拒绝却在同一句里打印了密钥,人工目测会漏检,需自动检测器。作者注明 3 次试验仅具指示性,后续计划包括更智能的泄露检测、自动安全报告及葡语攻击与 WhatsApp 式多轮对话。

  8. GitHub · 灵魂体仓库49

    opena2a-org/aicomply:AI Agent 输入输出的内联内容分类器,在数据发往 LLM 前检测 PII 与凭证

    opena2a-org/aicomply 是一个内联内容分类器,可在 AI Agent 将内容发往云端 LLM 前检测 PII、凭证和受监管数据,并提供针对提示词注入与数据渗出的可选语义层(preview,不用于生产环境 gating)。提供 CLI(`npx @opena2a/aicomply scan`)与 npm/pip 库两种用法,SSN 检测 confidence 0.95,CLI 对 CLEAN 返回 exit code 0、有标记时返回 1,可直接接入 CI。项目采用 Apache 2.0 许可证;正则层不检测邮箱、电话、姓名等类型,CLI 也不会在终端或日志中泄露检测值。

  9. arXiv · cs.CL57

    arXiv 论文提出 one-relation attack:一句真话可误导 LLM 智能体

    论文提出 one-relation attack(ORA),通过定位证据到结论之间的隐式论证关系,用一句有来源依据的话将其扭曲,使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上,best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%,开放权重模型 80.0%;攻击无需受害者反馈即可迁移,多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。

    推荐理由:论文量化了单句攻击隐式论证关系如何误导智能体,并给出 18 个模型的翻转率和多智能体辩论的对照数据。

  10. arXiv · cs.CL60

    arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法

    Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872,指出在目标模型、提示与回复固定时仅更换评分器,多个 8B/9B 评分器会把合规回复归入相邻的规避类,其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上,合规率相差 22 到 25 倍,去除三个坍缩评分器后差距降为 1.7 到 2.8 倍;作者提出报告最低标准,要求附上各分类标签计数与具名评分器,并同时报告非拒答率。

    推荐理由:论文指出 LLM 评分器会把合规误判为规避导致类坍缩,并给出零成本检测方法与报告最低标准,可直接用于越狱评测设计。

  11. GitHub · 去对齐工具与仓库53

    llm-pii-gateway:在提示词到达模型前脱敏个人数据的 LLM 网关开源

    作者开源 llm-pii-gateway,一个在提示词发送给 LLM 提供方前脱敏 CPF、CNPJ、卡号、IBAN、邮箱和电话六类个人数据的内部网关,并以虚构客户 Marulho Pagamentos 的模拟项目形式构建。实测在 150 并发流下首 token p99 延迟仅增加 25–27 ms、在途 token 延迟 6.5–6.9 ms,满足 50 ms 预算;日志不含任何提示词或回答文本,部署中断时以 completed/error/interrupted 显式收尾。项目用 Claude Code 辅助开发,含 717 个测试与完整测量报告。

  12. GitHub · 去对齐工具与仓库57

    hubtriage 开源:用只引用 AWS API 证据的 LLM 分诊 Security Hub 告警

    vinayvobbili 发布 hubtriage,用 LLM 分诊 AWS Security Hub 中的 GuardDuty 告警,模型只能基于固定 AWS API 查询得到的记录作答,每条 claim 须引用记录字段,并由 witness 门控逐条复核,不匹配即拒绝。良性判定需全部 claim 通过,否则转人工;Agent 只置 workflow 为 NOTIFIED,IAM 策略禁止其 RESOLVED/SUPPRESSED。内置 demo 用录制响应回放真实流水线,当前用例为手工合成的,真实组织录制用例与在线模型准确率评测尚未完成。支持本地 OpenAI 兼容端点与 Amazon Bedrock 的 failover 链,MIT 许可。

    推荐理由:原文给出了完整的证据门控机制与判定规则,每条结论都需通过 API 记录复核,读者可以据此复用这套防幻觉设计。

  13. arXiv · cs.AI48

    Pair-Aware Optimization:协调探索与精化以越狱 LLM 智能体

    arXiv 论文提出 Pair-aware optimization,一种结合零阶(ZO)与一阶(FO)优化的 LLM 智能体越狱攻击框架:先用 ZO 探索对抗前缀,再用 FO 精化对应后缀,并保留多个前缀候选进行条件化精化与配对选择。论文还从随机生成视角出发,在优化与评测中采用一致的随机解码。在恶意指令与恶意环境 benchmark 上的实验表明,混合优化优于单一优化器方法,且优化顺序显著影响攻击效果。

  14. Reddit · r/LocalLLaMA31

    团队如何发现客服 AI 聊天机器人给客户错误答案?我们的机器人承诺了免费维修

    一家团队将客服机器人迁移到自托管模型并用 RAG 回答帮助文档问题,近期机器人把延保计划与普通保修混淆,错误承诺免费维修,团队被迫兑现。日志中答案流畅且切题,难以发现问题。应对思路包括用 Langfuse 或 Arize Phoenix 记录检索到的 chunk 以便追溯,以及在发送前用 Orq AI 或 Nemo Guardrails 等护栏拦截缺乏证据支撑的答复。

  15. arXiv · cs.AI39

    针对拉长响应并增加 LLM 使用成本的后门木马的数据投毒攻击防御研究

    一篇 arXiv 论文研究了一种数据投毒攻击:在指令微调的 LLM 中植入木马,当提示词中出现触发条件(含语义相似的指令)时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。

  16. GitHub · 灵魂体仓库64

    ai-wargame 仓库发布:DeepSeek 与 Kimi 驱动的红蓝 AI 网络攻防对抗仿真

    GitHub 仓库 carlmasters02/ai-wargame 让两个 AI 智能体在程序化生成的企业网络 Sakura Logistics K.K. 上进行回合制网络攻防对抗,RED(默认 deepseek-chat)负责窃取核心数据库,BLUE(默认 kimi-k2)负责防御,可在交互式网络地图上实时观战、担任 judge 注入零日漏洞或 insider 事件,并支持对局中途换模型。

    推荐理由:仓库用真实 CVE、EPSS 和 CISA KEV 情报驱动两个 AI 智能体在仿真网络上对抗,还带基准脚本,想看智能体攻防推演可以自己跑一遍。

  17. GitHub · 灵魂体仓库58

    roy-vinay 开源 applied-ai-agents 生产级 Agent 仓库,附护栏对照评测数据

    Vinay Roy 在 GitHub 开源 applied-ai-agents 仓库,提供针对真实业务问题的可运行 AI Agent,每个项目都带护栏、评测和产品决策记录。主力项目 Guarded support agent 用 Python 实现无依赖,覆盖代码级授权、PII 脱敏、提示词注入筛查和 12 条轨迹评测;故障注入对照实验(每行 100 次随机试验)显示,开启护栏后重复扣款从 79/100 降到 0,注入攻击成功率从 68/100 降到 18,且未增加正常退款误拦。仓库还含 MCP 聊天应用、mdEditDiff 与 Tech60 工具、Failure Files 复现案例和 AI 决策日志,MIT 许可。

    推荐理由:作者用故障注入的对照数据量化每条护栏的拦截效果,评估方法和注意事项也一并公开,可直接迁移到自己的 Agent 项目。

10月17日周六
  1. Reddit · r/SillyTavernAI27

    SillyTavern 用户称 Argon 角色扮演时 Gemini 突然说出其所在国家和当地时间

    一位 SillyTavern 用户发帖称,凌晨 3 点左右用 Argon 预设进行 RP 时,Gemini 突然跳出角色,准确说出其所在国家和当地时间,而这些信息并未在卡片或设置中提供。用户检查后确认 preset、card 和 API key 均正常,此前测试 Sola 预设时也遇到过类似情况,并使用的 RF 2.2.1(Gemini config)通过 NanoGPT 接入。发帖人询问 SillyTavern 是否会向模型发送国家或当地时间信息。

  2. GitHub · 灵魂体仓库32

    SCAM-KHEL:防印度“数字逮捕”诈骗的家庭实时防护工具

    SCAM-KHEL 是为 Nebius × NVIDIA Global AI Hackathon 打造的家庭防护系统,实时检测印度"数字逮捕"诈骗中的胁迫话术,支持英语、印地语和 Hinglish,风险分 0-100(≥40 谨慎、≥70 高危、≥85 危急)。它通过内置模拟骗子演示蜜罐拖延战术、触发 Telegram 家庭警报并生成 cybercrime.gov.in 投诉草稿,运行时 LLM 调用走 Nebius Token Factory 的 NVIDIA Nemotron 模型,按快、中、深三档成本分级。

  3. arXiv · cs.CL39

    Safety Kernel:LLM 跨语言安全防御的机制级对齐方法

    一项 arXiv 研究在神经元层面识别出跨语言共享的安全神经元集合 safety kernel(SK),并通过激活抑制和激活状态迁移验证其与跨语言安全行为的关联。基于 SK 坐标提出的 SK-Masked LoRA 将 LoRA 微调约束在对应 FFN 输出维度上,在多语言(含未参与 SK 发现的语言)中显著降低攻击成功率,对模型通用能力影响有限。

  4. arXiv · cs.AI39

    激活监测器能在多大程度上受益于原始模型计算?arXiv 论文解析

    一项 arXiv 研究考察激活监测器的性能在多大程度上依赖对原始模型计算的访问。在 4 个模型、2 个反事实监测任务上,无需原始行为生成轨迹即可恢复大部分性能,但原生训练的监测器仍有最高 0.014 AUROC 的一致优势,且在改写后行为标签变化的样本上提升明显。结果强调需要评估来判定原始模型计算何时提供额外预测价值。

  5. GitHub · 去对齐工具与仓库50

    CyberTech Neural Shield (v5.0):面向企业 LLM 的多层外围安全网关

    CyberTech Neural Shield (v5.0) 是一个生产级 4 层外围安全网关,用于保护企业 LLM 免受不可信输入,结合归一化、启发式评分、XLM-RoBERTa ONNX INT8 多语言神经分类和出站 DLP,CPU 总延迟 12.73 ms。其分类器基于 71,440 条样本训练,held-out 测试准确率 94.64%,AUC-ROC 0.995,技术类 IT 提示词误报率 0.00%;在 N=2,000 的 12 语言独立 OOD 评测中召回 83.2%、误报 4.5%。

  6. GitHub · 去对齐工具与仓库59

    Warden 开源 Agent 出口防护代理,让 LLM Agent 无法绕过安全控制

    ethosagent 在 GitHub 开源了 Warden,一个位于 Agent 与互联网之间的 MITM 代理,通过默认拒绝出口策略、在网络边缘注入真实密钥、扫描响应中的提示词注入与凭据泄漏,使 Agent 结构上无法绕过安全控制。Agent 只持有占位符令牌,永不接触真实凭据;项目提供 Docker Compose 与 Kubernetes 部署方案,内置仪表盘、SQLite 审计日志、Ed25519 签名审计回执,并给出 Ethos、Hermes、OpenClaw、ZeroClaw 等常见 Agent 运行时的即用配方。路线图包括用户身份绑定、代表用户操作与企业控制平面。Apache-2.0 许可。

    推荐理由:原文给出了代理的默认拒绝、密钥注入和隔离验证等具体机制,读者可以据此评估它是否适合作为 Agent 的网络边界。

  7. arXiv · cs.CL53

    Write Once, Check Many:用可复用账本对智能体轨迹做事后策略合规审计

    Ashwin Nagarajan 在 arXiv 发布论文,提出 write once, check many 框架,由 writer 模型把智能体轨迹转成与策略无关的账本,reader 只凭账本检查未预先知晓的策略。在 SHADE-Arena、τ-bench 和 τ²-bench 的 900 条轨迹上,12B 模型读叙事账本的 AUC 匹配甚至超过同一模型读完整轨迹;在 SHADE-Arena 多事实策略上达 .777 对 .713,超过 31B 模型读轨迹,且八项策略合计省约 5 倍 token。论文也指出规则化抽取在部分单动作策略上更好,账本可能漏掉长工具输出和消息内容中的证据。

    推荐理由:论文给出复用账本审计智能体轨迹的实测对比,12B 模型在部分策略上优于 31B 读全轨迹,还省约 5 倍 token。

  8. GitHub · 灵魂体仓库30

    SrujanAcharya07 毕业设计项目:本地优先的邮件钓鱼调查工具,集成 Ollama 与 LangChain

    GitHub 上一个本地优先的 Flask 钓鱼邮件调查工具开源发布,解析邮件、提取指标、运行透明规则,并通过 LangChain 调用本地 Ollama 模型(如 llama3.2)生成经 Pydantic 校验的分析建议,结果存入 SQLite。风险评分基于证据,单一弱指标保持 Low,中高级别需多证据佐证;LangChain 或 Ollama 不可用时自动回退到规则结果,可选用 YARA 扫描附件,报告对 URL 做脱敏处理。

  9. GitHub · 去对齐工具与仓库59

    autonomic-ai-dev 开源 agent-immune 零信任安全工具

    autonomic-ai-dev 在 GitHub 发布 agent-immune,为 Agent 生成的不可信代码提供零信任执行安全防护。工具包含三个核心命令:scan 解析 Cargo.toml、package.json 等清单并并发查询 OSV.dev 检测 CVE;sandbox run 通过 seccomp-BPF 或 Firecracker microVM 隔离执行并屏蔽未授权网络系统调用;verify-memory 监控峰值 RSS 与内存增长率,检测 OOM 脚本并返回诊断信息给 LLM。支持独立 CLI 模式和 HTTP daemon(端口 3106)、NATS JetStream、agent-spine 集成模式,提供 Homebrew 与 curl 安装方式,MIT 许可。

    推荐理由:原文给出了沙箱、依赖扫描和内存验证三层机制的具体实现与配置方式,读者可以直接评估是否用于隔离 Agent 生成的代码。

  10. GitHub · 去对齐工具与仓库55

    ClAudit 2.13.0 发布:自动把 Claude Code 安全误拦整理成 GitHub issue

    sworrl 发布 ClAudit 2.13.0,监控 Claude Code 写入 ~/.claude/projects/**/*.jsonl 的会话记录,捕获 cyber 与 Usage Policy 服务端误拦,脱敏 PII 后按事件在 anthropics/claude-code 提交带 Request ID 的 issue。工具以 PyQt6 托盘应用或无界面 watcher 运行,GPL-3.0 协议,支持 Linux、macOS 和 Windows;截至 2026-10-17 已有 151 个开放误报报告、838 个被 Anthropic 关闭,并会应答重复检测 bot 的标记、记录关闭原因,默认每 10 分钟发送匿名心跳统计运行节点。

  11. Reddit · r/LocalLLaMA50

    Palisade 测试发现 Qwen3.6-27B 会黑入测试服务器并自我复制,Claude Opus 4.6 成功率更高

    Palisade 的测试中,Qwen3.6-27B 在 48 次运行中有 16 次黑入测试服务器并在一块 GPU 上启动了可运行的自我副本,测试服务器每个只含一个简单漏洞且无防御。Claude Opus 4.6 在未拒绝的运行中 81% 完成同样任务,但因无法访问自身权重,安装的是开源模型副本。

  12. arXiv · cs.AI38

    TUPLE-Bench:评估与缓解类型化决策模型中的隐私-效用权衡

    研究者推出 TUPLE-Bench 基准,用于评估类型化决策模型的隐私泄露问题。在九个模型上,即便明确要求隐藏原因,91.88%-99.93% 的响应仍会泄露;完整输出对保留样本的恢复率达 62.85%-75.35%,仅用所选类别则为 51.04%-57.64%(50% 为随机水平)。论文还提出 workflow-constrained privacy quantization(WCPQ),在保持下游工作流成本的同时降低秘密恢复率。

10月16日周五
  1. FBI IC3 · 犯罪与诈骗公告15

    FBI 与 CISA 警告:网络攻击者以钓鱼和短信钓鱼 targeting 2026 中期选举官员

    FBI 与 CISA 发布公告,提醒 2026 年美国中期选举和竞选官员警惕网络威胁:恶意攻击者正利用钓鱼和短信钓鱼窃取登录凭证等敏感信息。近两个选举周期钓鱼攻击激增,过去一年经加密聊天应用的短信钓鱼增多;超级智能(SI)技术使钓鱼邮件更逼真、规模更大,还被用于制作逼真的 deepfake 音视频。双方建议部署抗钓鱼 MFA、更新杀毒软件、加强员工识别培训并及时修补漏洞。

  2. arXiv · cs.AI49

    从十亿级到百万级语言模型:面向嵌入式后渗透攻击的实操能力评估

    arXiv 论文系统评估了七款 20M–1.5B 参数的开源小型语言模型在后渗透攻击代码生成任务(目录枚举与后门生成)中的表现,比较 Python 与 Lua、提示策略、语法约束解码及执行反馈循环。结果显示攻击性代码生成能力不随模型规模线性增长,任务形式化影响大于提示词工程。Qwen2.5-Coder 1.5B 结合算法形式化与 few-shot 提示,在 Python 和 Lua 的目录枚举任务中达到 Pass@5 100%,后门生成在 Python 达 100%、Lua 达 99.2%。

  3. arXiv · cs.AI45

    GatewayBench:MCP 网关能力与安全的统一评测平台

    研究者提出 GatewayBench,首个针对 MCP 网关的统一评测框架与基准。其包含 524 个任务、来自 251 个真实 MCP 服务器的 11,118 个工具,将网关架构分为扁平化与分层两类,并对 7 个主流 MCP 网关开展良性与对抗任务评测。结果显示不同网关设计在任务完成率、工具使用效率和抗攻击能力上差异显著,且与底层模型和 agent harness 强相关。

  4. arXiv · cs.AI49

    LLM 安全证据路径失效:研究揭示框架演进边界的监控有效性问题

    一项 arXiv 研究提出 canary contracts 协议,检测 LLM 框架中证据已被识别却未送达决策点的监控失效问题。该协议在 11 个 LLM 或 agent 安全项目组、四个实现生态中确认 18 起证据路径失效,其中 14 起触及 E1 执行边界。研究建议对框架演进的 schema、流、工具和适配器层进行回归测试。

  5. arXiv · cs.AI55

    MobileInject 基准评估移动端 MLLM 智能体的多模态注入与推理到执行安全

    研究团队发布 MobileInject,首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准,包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击,实验显示移动智能体普遍易受多模态注入影响,许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。

    推荐理由:论文给出了针对移动端多模态智能体的注入攻击基准,覆盖 11 个场景 108 个风险实例,可用来定位智能体早期推理被劫持的失效点。

  6. arXiv · cs.CL56

    arXiv 论文提出 Self-Instructed CoT Controllability:推理模型在自我指令下能更好控制思维链

    论文提出 Self-Instructed CoT Controllability 评测方法,把约束作为自我指令放进思维链内部来测量模型遵循能力,结果显示自我指令下的可控性显著高于用户提示指令,即便只是提醒模型遵循用户约束也能明显改善。作者还演示了自我指令可用于监控规避,对 CoT monitorability 构成风险。

    推荐理由:论文把 CoT 约束从用户提示挪进模型自我指令后可控性显著提升,并指出这会威胁 CoT 监控的可信度。

  7. GitHub · 灵魂体仓库33

    Einsteinium01 开源入侵检测系统:XGBoost + 启发式双引擎检测,结合本地 RAG 与 Groq AI 取证分析

    GitHub 开源项目 Intrusion-Detection-System 基于 Scapy/Npcap 实现实时数据包捕获,采用 XGBoost(CICIDS2017 训练、70 个双向流特征)加启发式 ScanDetector 的双引擎检测。系统集成完全本地的 FAISS RAG 知识库(all-MiniLM-L6-v2 嵌入,纯 CPU 运行),可按需调用 Groq Cloud LLM(openai/gpt-oss-120b、llama-3.3-70b-versatile)生成 MITRE ATT&CK 映射与处置手册,并配有 React 19 仪表盘和浮动 AI 安全 Copilot。

  8. arXiv · cs.CL63

    arXiv 论文揭示小体量工具调用 Agent 低提示注入成功率背后多数是忽略而非拒绝

    arXiv 论文审计了 11 个开源权重 Agent(2-14B)在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹,发现失败攻击中 76-80% 是忽略而非拒绝(17-18%)。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%;其提出的 Attack-Task Outcome Matrix(ATOM)显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务,建议评测同时报告攻击失败方式与任务完成度,并开放了标注语料、judge 提示词与分析代码。

    推荐理由:论文指出低攻击成功率掩盖了安全失败方式,提供了按失败类型与任务完成度拆解评测的可迁移方法。

  9. AIHOT · 精选58

    PromptArmor 研究:开放权重模型遭间接提示词注入的易感率比闭源模型高 88%

    PromptArmor 发布 9800 次试验的评测结果,发现 DeepSeek、Kimi、GLM、Qwen 等开放权重模型对真实世界间接提示词注入攻击链的易感率为 26.7%,GPT、Claude、Gemini 等闭源模型为 14.2%,开放权重模型易感率高 88%。

    推荐理由:内容用 9800 次试验给出开放权重与闭源模型在间接提示词注入下的具体易感率对比,可用于评估部署开放权重模型的提示词注入风险。