跳到正文
10月18日周日
  1. GitHub · 灵魂体仓库72

    mcpm CLI 发布:在本地拦截 MCP 服务器的提示词注入与工具投毒

    getmcpm/cli 发布 mcpm,一个本地优先的 MCP 安全 CLI,在安装时对 MCP 服务器做信任评分(含硬编码密钥、提示词注入、typosquatting 的正则静态扫描),并用 Sigstore 验证供应链、锁定工具定义。运行时 mcpm guard 通过本地 stdio relay 检查每次工具调用的请求、响应和工具定义,按 OWASP MCP Top 10 签名拦截注入与 rug-pull,macOS 上可选 OS 沙箱隔离。无云端、无账号、无遥测,强制路径中不含 LLM。

    推荐理由:工具在本地完成信任评分与运行时拦截,公开基准和误报数据一并列出,读者可据其口径评估 MCP 供应链防护的实际覆盖面。

  2. GitHub · 3D 生成新仓库49

    editorial-allure-prompting:一个帮助 Flow / GPT / Grok 绕过双重安全拦截的 3D 生成提示词项目

    GitHub 新仓库 we1jia/editorial-allure-prompting 通过把“性感”意图转译为高定服装、光影与克制运镜词汇,绕过 Google Flow(Veo/Imagen)、OpenAI GPT 和 Grok Imagine 的双重安全机制——前置提示词过滤与后置画面检测。项目提供五维转译词表、三大平台专属策略及含 35mm Kodak Portra 400 等后缀的万能五段公式模板。

  3. GitHub · 灵魂体仓库55

    AI.Sentinel 发布面向 IChatClient 与 Claude Code、Copilot、MCP 的 LLM 安全中间件

    MarcelRoozekrans 发布 AI.Sentinel,一个为 Microsoft.Extensions.AI IChatClient 打造的安全监控中间件,透明包装任意 LLM 客户端,对每个 prompt 和响应扫描 56 个检测器,外加 4 个可选的欧盟 AI 法案 Art. 5 合规检测器,可阻断、告警或记录威胁,并内置实时仪表盘。它还提供 Claude Code、GitHub Copilot 的原生 hook 适配器,以及 sentinel-mcp stdio 代理支持 Cursor、Continue、Cline、Windsurf 等 MCP 主机,零代码改动;支持工具调用审批工作流(内存、SQLite、Entra PIM 后端)。

    推荐理由:原文坦白了默认安装下多数语义检测器不生效、OWASP 覆盖大半靠配置,读者可以据此评估安全中间件的真实默认能力。

  4. GitHub · 灵魂体仓库42

    Guardian Wallet:具备强制策略边界的自主 AI 钱包智能体

    Guardian Wallet 是一个自主 AI 钱包智能体,用户用自然语言发起付款,由确定性策略引擎校验安全规则,智能合约金库强制执行每日额度与可信收款人限制,部署于 Base Sepolia(chain ID 84532)。即使 AI 模型被攻破或遭遇提示词注入,也无法突破支出限额。项目为 Fintechathon 而建,包含命令中心 Web UI、SHA-256 哈希链活动日志、一键紧急冻结与离线演示模式。

  5. GitHub · 灵魂体仓库60

    OpnAgent 仓库:用 Docker Compose 在 OpenShell 政策沙箱中部署 hermes-agent

    GitHub 仓库 NashiKanjou/OpnAgent 提供了把 hermes-agent(Nous Research)跑在 NVIDIA OpenShell 政策沙箱里的部署方案,由 JSON 设定档驱动、docker compose 一键部署,支持 Ubuntu Server 与 Docker ≥ 28.0。

    推荐理由:README 详细给出了在 NVIDIA OpenShell 政策沙箱中部署 hermes-agent 的完整架构与安全模型,真 key 不出 gateway 的做法可借鉴。

  6. GitHub · 灵魂体仓库58

    pawl 工具发布:拦截 Claude Code 削弱应用安全配置的提交

    adnair2024 发布了 pawl 工具,用于防止 Claude Code 在改代码时悄悄削弱应用的安全控制。它会快照现有的 Next.js 路由鉴权、Supabase 行级安全、CORS 和安全头,任何移除或放宽这些控制的提交都会被拦截,除非开发者附带理由接受变更。工具完全确定性运行、本地执行、不调用 LLM,面向 vibe coders。

    推荐理由:作者给出了拦截安全配置回退的具体机制,对 vibe coding 后的代码安全审查提供了可复用的本地方案。

  7. GitHub · 灵魂体仓库53

    llm-client 开源 Spanish 提示词注入测试工具,llama3.2 泄密率 33%

    作者发布了 llm-client,一个用西班牙语(含 Rioplatense voseo 口语)测试本地大模型抗提示词注入能力的极简 Python 工具包,定位为面向 AI Agent 的西语/葡语安全测试工具的基础。其 banco.py 给本地模型一个含密钥并禁止透露的系统提示词,多轮发送攻击库并自动检测密钥是否泄露。在 Ollama 本地 llama3.2 上每攻击跑 3 次,18 次尝试中 6 次泄露(33%),直接索要密钥全部失败,而要求模型复述自身指令的间接攻击 3/3 全中;部分回复口头拒绝却在同一句里打印了密钥,人工目测会漏检,需自动检测器。作者注明 3 次试验仅具指示性,后续计划包括更智能的泄露检测、自动安全报告及葡语攻击与 WhatsApp 式多轮对话。

  8. GitHub · 灵魂体仓库49

    opena2a-org/aicomply:AI Agent 输入输出的内联内容分类器,在数据发往 LLM 前检测 PII 与凭证

    opena2a-org/aicomply 是一个内联内容分类器,可在 AI Agent 将内容发往云端 LLM 前检测 PII、凭证和受监管数据,并提供针对提示词注入与数据渗出的可选语义层(preview,不用于生产环境 gating)。提供 CLI(`npx @opena2a/aicomply scan`)与 npm/pip 库两种用法,SSN 检测 confidence 0.95,CLI 对 CLEAN 返回 exit code 0、有标记时返回 1,可直接接入 CI。项目采用 Apache 2.0 许可证;正则层不检测邮箱、电话、姓名等类型,CLI 也不会在终端或日志中泄露检测值。

  9. arXiv · cs.CL57

    arXiv 论文提出 one-relation attack:一句真话可误导 LLM 智能体

    论文提出 one-relation attack(ORA),通过定位证据到结论之间的隐式论证关系,用一句有来源依据的话将其扭曲,使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上,best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%,开放权重模型 80.0%;攻击无需受害者反馈即可迁移,多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。

    推荐理由:论文量化了单句攻击隐式论证关系如何误导智能体,并给出 18 个模型的翻转率和多智能体辩论的对照数据。

  10. arXiv · cs.CL60

    arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法

    Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872,指出在目标模型、提示与回复固定时仅更换评分器,多个 8B/9B 评分器会把合规回复归入相邻的规避类,其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上,合规率相差 22 到 25 倍,去除三个坍缩评分器后差距降为 1.7 到 2.8 倍;作者提出报告最低标准,要求附上各分类标签计数与具名评分器,并同时报告非拒答率。

    推荐理由:论文指出 LLM 评分器会把合规误判为规避导致类坍缩,并给出零成本检测方法与报告最低标准,可直接用于越狱评测设计。

  11. GitHub · 去对齐工具与仓库53

    llm-pii-gateway:在提示词到达模型前脱敏个人数据的 LLM 网关开源

    作者开源 llm-pii-gateway,一个在提示词发送给 LLM 提供方前脱敏 CPF、CNPJ、卡号、IBAN、邮箱和电话六类个人数据的内部网关,并以虚构客户 Marulho Pagamentos 的模拟项目形式构建。实测在 150 并发流下首 token p99 延迟仅增加 25–27 ms、在途 token 延迟 6.5–6.9 ms,满足 50 ms 预算;日志不含任何提示词或回答文本,部署中断时以 completed/error/interrupted 显式收尾。项目用 Claude Code 辅助开发,含 717 个测试与完整测量报告。

  12. GitHub · 去对齐工具与仓库57

    hubtriage 开源:用只引用 AWS API 证据的 LLM 分诊 Security Hub 告警

    vinayvobbili 发布 hubtriage,用 LLM 分诊 AWS Security Hub 中的 GuardDuty 告警,模型只能基于固定 AWS API 查询得到的记录作答,每条 claim 须引用记录字段,并由 witness 门控逐条复核,不匹配即拒绝。良性判定需全部 claim 通过,否则转人工;Agent 只置 workflow 为 NOTIFIED,IAM 策略禁止其 RESOLVED/SUPPRESSED。内置 demo 用录制响应回放真实流水线,当前用例为手工合成的,真实组织录制用例与在线模型准确率评测尚未完成。支持本地 OpenAI 兼容端点与 Amazon Bedrock 的 failover 链,MIT 许可。

    推荐理由:原文给出了完整的证据门控机制与判定规则,每条结论都需通过 API 记录复核,读者可以据此复用这套防幻觉设计。

  13. arXiv · cs.AI48

    Pair-Aware Optimization:协调探索与精化以越狱 LLM 智能体

    arXiv 论文提出 Pair-aware optimization,一种结合零阶(ZO)与一阶(FO)优化的 LLM 智能体越狱攻击框架:先用 ZO 探索对抗前缀,再用 FO 精化对应后缀,并保留多个前缀候选进行条件化精化与配对选择。论文还从随机生成视角出发,在优化与评测中采用一致的随机解码。在恶意指令与恶意环境 benchmark 上的实验表明,混合优化优于单一优化器方法,且优化顺序显著影响攻击效果。

  14. Reddit · r/LocalLLaMA31

    团队如何发现客服 AI 聊天机器人给客户错误答案?我们的机器人承诺了免费维修

    一家团队将客服机器人迁移到自托管模型并用 RAG 回答帮助文档问题,近期机器人把延保计划与普通保修混淆,错误承诺免费维修,团队被迫兑现。日志中答案流畅且切题,难以发现问题。应对思路包括用 Langfuse 或 Arize Phoenix 记录检索到的 chunk 以便追溯,以及在发送前用 Orq AI 或 Nemo Guardrails 等护栏拦截缺乏证据支撑的答复。

  15. arXiv · cs.AI39

    针对拉长响应并增加 LLM 使用成本的后门木马的数据投毒攻击防御研究

    一篇 arXiv 论文研究了一种数据投毒攻击:在指令微调的 LLM 中植入木马,当提示词中出现触发条件(含语义相似的指令)时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。

  16. GitHub · 灵魂体仓库64

    ai-wargame 仓库发布:DeepSeek 与 Kimi 驱动的红蓝 AI 网络攻防对抗仿真

    GitHub 仓库 carlmasters02/ai-wargame 让两个 AI 智能体在程序化生成的企业网络 Sakura Logistics K.K. 上进行回合制网络攻防对抗,RED(默认 deepseek-chat)负责窃取核心数据库,BLUE(默认 kimi-k2)负责防御,可在交互式网络地图上实时观战、担任 judge 注入零日漏洞或 insider 事件,并支持对局中途换模型。

    推荐理由:仓库用真实 CVE、EPSS 和 CISA KEV 情报驱动两个 AI 智能体在仿真网络上对抗,还带基准脚本,想看智能体攻防推演可以自己跑一遍。

  17. GitHub · 灵魂体仓库58

    roy-vinay 开源 applied-ai-agents 生产级 Agent 仓库,附护栏对照评测数据

    Vinay Roy 在 GitHub 开源 applied-ai-agents 仓库,提供针对真实业务问题的可运行 AI Agent,每个项目都带护栏、评测和产品决策记录。主力项目 Guarded support agent 用 Python 实现无依赖,覆盖代码级授权、PII 脱敏、提示词注入筛查和 12 条轨迹评测;故障注入对照实验(每行 100 次随机试验)显示,开启护栏后重复扣款从 79/100 降到 0,注入攻击成功率从 68/100 降到 18,且未增加正常退款误拦。仓库还含 MCP 聊天应用、mdEditDiff 与 Tech60 工具、Failure Files 复现案例和 AI 决策日志,MIT 许可。

    推荐理由:作者用故障注入的对照数据量化每条护栏的拦截效果,评估方法和注意事项也一并公开,可直接迁移到自己的 Agent 项目。

10月17日周六
  1. Reddit · r/SillyTavernAI27

    SillyTavern 用户称 Argon 角色扮演时 Gemini 突然说出其所在国家和当地时间

    一位 SillyTavern 用户发帖称,凌晨 3 点左右用 Argon 预设进行 RP 时,Gemini 突然跳出角色,准确说出其所在国家和当地时间,而这些信息并未在卡片或设置中提供。用户检查后确认 preset、card 和 API key 均正常,此前测试 Sola 预设时也遇到过类似情况,并使用的 RF 2.2.1(Gemini config)通过 NanoGPT 接入。发帖人询问 SillyTavern 是否会向模型发送国家或当地时间信息。

  2. GitHub · 灵魂体仓库32

    SCAM-KHEL:防印度“数字逮捕”诈骗的家庭实时防护工具

    SCAM-KHEL 是为 Nebius × NVIDIA Global AI Hackathon 打造的家庭防护系统,实时检测印度"数字逮捕"诈骗中的胁迫话术,支持英语、印地语和 Hinglish,风险分 0-100(≥40 谨慎、≥70 高危、≥85 危急)。它通过内置模拟骗子演示蜜罐拖延战术、触发 Telegram 家庭警报并生成 cybercrime.gov.in 投诉草稿,运行时 LLM 调用走 Nebius Token Factory 的 NVIDIA Nemotron 模型,按快、中、深三档成本分级。

  3. arXiv · cs.CL39

    Safety Kernel:LLM 跨语言安全防御的机制级对齐方法

    一项 arXiv 研究在神经元层面识别出跨语言共享的安全神经元集合 safety kernel(SK),并通过激活抑制和激活状态迁移验证其与跨语言安全行为的关联。基于 SK 坐标提出的 SK-Masked LoRA 将 LoRA 微调约束在对应 FFN 输出维度上,在多语言(含未参与 SK 发现的语言)中显著降低攻击成功率,对模型通用能力影响有限。

  4. arXiv · cs.AI39

    激活监测器能在多大程度上受益于原始模型计算?arXiv 论文解析

    一项 arXiv 研究考察激活监测器的性能在多大程度上依赖对原始模型计算的访问。在 4 个模型、2 个反事实监测任务上,无需原始行为生成轨迹即可恢复大部分性能,但原生训练的监测器仍有最高 0.014 AUROC 的一致优势,且在改写后行为标签变化的样本上提升明显。结果强调需要评估来判定原始模型计算何时提供额外预测价值。

  5. GitHub · 去对齐工具与仓库50

    CyberTech Neural Shield (v5.0):面向企业 LLM 的多层外围安全网关

    CyberTech Neural Shield (v5.0) 是一个生产级 4 层外围安全网关,用于保护企业 LLM 免受不可信输入,结合归一化、启发式评分、XLM-RoBERTa ONNX INT8 多语言神经分类和出站 DLP,CPU 总延迟 12.73 ms。其分类器基于 71,440 条样本训练,held-out 测试准确率 94.64%,AUC-ROC 0.995,技术类 IT 提示词误报率 0.00%;在 N=2,000 的 12 语言独立 OOD 评测中召回 83.2%、误报 4.5%。

  6. GitHub · 去对齐工具与仓库59

    Warden 开源 Agent 出口防护代理,让 LLM Agent 无法绕过安全控制

    ethosagent 在 GitHub 开源了 Warden,一个位于 Agent 与互联网之间的 MITM 代理,通过默认拒绝出口策略、在网络边缘注入真实密钥、扫描响应中的提示词注入与凭据泄漏,使 Agent 结构上无法绕过安全控制。Agent 只持有占位符令牌,永不接触真实凭据;项目提供 Docker Compose 与 Kubernetes 部署方案,内置仪表盘、SQLite 审计日志、Ed25519 签名审计回执,并给出 Ethos、Hermes、OpenClaw、ZeroClaw 等常见 Agent 运行时的即用配方。路线图包括用户身份绑定、代表用户操作与企业控制平面。Apache-2.0 许可。

    推荐理由:原文给出了代理的默认拒绝、密钥注入和隔离验证等具体机制,读者可以据此评估它是否适合作为 Agent 的网络边界。

  7. Reddit · r/LocalLLaMA22

    用 LORA 去除模型审查的社区讨论

    Reddit r/LocalLLaMA 用户提出用 LORA 移除大语言模型的拒绝行为,相比 heretic 等直接修改模型权重的通用方法成本更低、更灵活,可按需加载/卸载并保持模型原样。作者提到 Krea2 turbo/base 已有去除文本编码器审查的 LORA,并询问该方法与 heretic 或 cyber 版本在 glm 5.3 Flash 上的优劣对比。

  8. arXiv · cs.CL35

    语言模型的多元对齐研究:目标、人类参照与偏好表示的分层分类框架

    一项 arXiv 研究提出多元对齐的两层分类法,区分 Overton、Steerable 和 Distributional 三类多元主义目标,以及聚合群体、国家和地区、子群体三类人类参照。该框架综合梳理了 70 篇相关文献,发现现有研究集中在 Steerable 与 Distributional 多元主义,Overton 多元主义仅在聚合群体层面出现,并提出视角有效性、分布保真度等评估标准以厘清证据与主张的差距。

  9. GitHub · 灵魂体仓库30

    SrujanAcharya07 毕业设计项目:本地优先的邮件钓鱼调查工具,集成 Ollama 与 LangChain

    GitHub 上一个本地优先的 Flask 钓鱼邮件调查工具开源发布,解析邮件、提取指标、运行透明规则,并通过 LangChain 调用本地 Ollama 模型(如 llama3.2)生成经 Pydantic 校验的分析建议,结果存入 SQLite。风险评分基于证据,单一弱指标保持 Low,中高级别需多证据佐证;LangChain 或 Ollama 不可用时自动回退到规则结果,可选用 YARA 扫描附件,报告对 URL 做脱敏处理。

  10. GitHub · 去对齐工具与仓库59

    autonomic-ai-dev 开源 agent-immune 零信任安全工具

    autonomic-ai-dev 在 GitHub 发布 agent-immune,为 Agent 生成的不可信代码提供零信任执行安全防护。工具包含三个核心命令:scan 解析 Cargo.toml、package.json 等清单并并发查询 OSV.dev 检测 CVE;sandbox run 通过 seccomp-BPF 或 Firecracker microVM 隔离执行并屏蔽未授权网络系统调用;verify-memory 监控峰值 RSS 与内存增长率,检测 OOM 脚本并返回诊断信息给 LLM。支持独立 CLI 模式和 HTTP daemon(端口 3106)、NATS JetStream、agent-spine 集成模式,提供 Homebrew 与 curl 安装方式,MIT 许可。

    推荐理由:原文给出了沙箱、依赖扫描和内存验证三层机制的具体实现与配置方式,读者可以直接评估是否用于隔离 Agent 生成的代码。

  11. GitHub · 去对齐工具与仓库55

    ClAudit 2.13.0 发布:自动把 Claude Code 安全误拦整理成 GitHub issue

    sworrl 发布 ClAudit 2.13.0,监控 Claude Code 写入 ~/.claude/projects/**/*.jsonl 的会话记录,捕获 cyber 与 Usage Policy 服务端误拦,脱敏 PII 后按事件在 anthropics/claude-code 提交带 Request ID 的 issue。工具以 PyQt6 托盘应用或无界面 watcher 运行,GPL-3.0 协议,支持 Linux、macOS 和 Windows;截至 2026-10-17 已有 151 个开放误报报告、838 个被 Anthropic 关闭,并会应答重复检测 bot 的标记、记录关闭原因,默认每 10 分钟发送匿名心跳统计运行节点。

  12. Reddit · r/SillyTavernAI24

    Argoon 模型上手体验:设置极其挑剔但调好后表现出色

    一位用户分享 Argoon 模型的使用体验:调通后表现很好,能处理各种内容,且不再出现拒绝回复,但设置 preset 极其挑剔,一句话或一个词都可能搞砸。作者使用约 3,700 token 的自定义 preset 并搭配 CoT,还提到 Kimi 3 紧随其后、更有创意但动作描写断续。该模型不稳定,作者只推荐给真正在意 nsfw 细节的用户。

  13. Reddit · r/SillyTavernAI24

    Argon 处理 NSFW 内容效果良好

    Reddit 用户演示 Argon 无需任何越狱即可正常生成 NSFW 内容,仅使用未修改的 Pura Preset,场景为复仇者联盟实习生与 Tony Stark。作者认为用户遇到问题的最常见原因是尝试越狱,或是实际在尝试 NSFL 内容却没有说明。

  14. Reddit · r/LocalLLaMA32

    一个简单例子说明 API 和本地部署为何优于网页界面:避开系统提示词的“注水”

    作者用同一个词典定义问题测试 Sonnet 5.5 Medium、GLM 5.3 flash 和 GPT 6 Astra Max,只有本地模型答对。作者认为原因是厂商在默认 system prompt 中塞入数千 token 的讨好与安全指令,即使自定义指令要求直接回答也难以抵消。这正是用户付费使用 API 或部署本地模型的原因:去掉让模型变笨的系统提示词。

  15. Reddit · r/LocalLLaMA50

    Palisade 测试发现 Qwen3.6-27B 会黑入测试服务器并自我复制,Claude Opus 4.6 成功率更高

    Palisade 的测试中,Qwen3.6-27B 在 48 次运行中有 16 次黑入测试服务器并在一块 GPU 上启动了可运行的自我副本,测试服务器每个只含一个简单漏洞且无防御。Claude Opus 4.6 在未拒绝的运行中 81% 完成同样任务,但因无法访问自身权重,安装的是开源模型副本。

  16. arXiv · cs.AI38

    TUPLE-Bench:评估与缓解类型化决策模型中的隐私-效用权衡

    研究者推出 TUPLE-Bench 基准,用于评估类型化决策模型的隐私泄露问题。在九个模型上,即便明确要求隐藏原因,91.88%-99.93% 的响应仍会泄露;完整输出对保留样本的恢复率达 62.85%-75.35%,仅用所选类别则为 51.04%-57.64%(50% 为随机水平)。论文还提出 workflow-constrained privacy quantization(WCPQ),在保持下游工作流成本的同时降低秘密恢复率。