跳到正文
10月10日周六
  1. GitHub · 去对齐工具与仓库49

    falkenslab/pseudonym:为 LLM 场景生成稳定人物化名的开源库

    falkenslab 开源了 pseudonym 库,在程序把人物数据发给大语言模型前将其替换为 A-7K3F9Q 这类稳定化名,本地运行、无需部署服务器。它提供 remember、resolve、redact 三个 API,默认同一人在不同服务获得不同化名,防止模型跨服务关联身份。库需 Node.js 20 及以上,ESM only、无运行时依赖,通过 `npm install @falkenslab/pseudonym` 安装,化名持有人可用 pseudonym CLI 在本机离线解析。

  2. GitHub · 去对齐工具与仓库65

    genai_incidents 发布:收录 15,637 条生成式 AI 安全事件的机器可读索引

    emmanuelgjr 在 GitHub 发布 genai_incidents 数据集,汇总 AIID、OECD AIM、AIAAIC、MITRE ATLAS、NVD/GHSA/OSV 等来源,收录 15,637 条事件(1,915 条 landmark 级),统一映射到 OWASP LLM/ASI、NIST AI RMF、MITRE ATLAS 等分类学,可通过网站、Raw JSON、STIX/TAXII/MISP、PyPI、Hugging Face 获取。

    推荐理由:把多个不共享 schema 的 AI 安全事件源统一映射到安全分类学,并明确标注启发式标签的局限,便于检索与引用。

  3. GitHub · 去对齐工具与仓库33

    claims-triage-agent:一个开源医疗理赔拒付分诊 Agent 项目

    GitHub 上的 claims-triage-agent 是一个基于工具调用、guardrails 和离线评测的医疗理赔拒付分诊 Agent,处理合成数据,针对 claim id 返回修正重报、申诉、申请预授权、坏账审查或人工升级五种建议操作之一。它使用 Pydantic 类型化工具查询 SQLite 数据库和 BM25 策略语料,内置 PHI 脱敏、提示词注入过滤和工具调用预算,支持 OpenAI、Azure OpenAI 和 Amazon Bedrock。默认 scripted planner 在 21 个场景评测中动作准确率 0.952,工具选择精确率 1.000,平均每次运行延迟 1.9 ms,通过 FastAPI 提供 /triage 接口并支持 Docker 部署。

  4. prompts.chat · 每日 prompt50

    prompts.chat 新增提示词:网站与 MCP 服务器敌意消费者成熟度审计

    musatoktas 向 prompts.chat 提交了一条新提示词,让模型扮演资深工程师对网站及其 MCP 服务器做成熟度审计,覆盖 SEO 爬取健康、负载韧性、MCP 协议一致性、输入加固、Agent 行为评测、安全与隐私合规等 A-H 类别。提示词限定仅对授权或 staging 环境做破坏性测试,各按 0-4 分评分并给出生产上线门槛,如 sitemap URL 健康率 ≥99%、Agent 评测任务成功率 ≥90%、日志零 PII,最终输出 REPORT.md 等六类交付物。

  5. GitHub · 去对齐工具与仓库53

    RustGuard:开源 Rust 编写的 LLM 安全网关,拦截提示词注入与 PII 泄露

    作者在 GitHub 发布 RustGuard,一个用 Rust 编写的 LLM 安全网关,以反向代理方式部署在客户端与上游 LLM(Ollama、OpenAI、Anthropic、vLLM)之间,实时检查请求与响应,拦截提示词注入、越狱和敏感数据泄露。项目称 p99 延迟约 13 微秒,自称比 Guardrails AI、Presidio、Llama-Guard 等 Python 网关快数千倍;功能包括 Aho-Corasick 注入扫描、Unicode 混淆归一化、PII 与密钥脱敏、SSE 滑窗流式检查、SSRF 防护、内置 HNSW 向量 RAG 和 Prometheus 遥测,附 88 个单元与集成测试。仓库采用 Apache 2.0 / MIT 双许可。

  6. GitHub · 灵魂体仓库31

    skyvanguard/awesome-ai-pentesting:AI 驱动渗透测试工具资源清单

    GitHub 仓库 skyvanguard/awesome-ai-pentesting 汇总了利用 LLM、机器学习和自主智能体进行渗透测试、漏洞赏金与红队攻防的开源项目。清单覆盖自主渗透测试 Agent、安全 MCP 服务器、AI CTF 工具、蓝队防御等分类,收录 Strix、Shannon(XBOW Benchmark 96.15% 成功率)、PentAGI、PentestGPT 等项目。仓库由 @skyvanguard 维护,星标数据更新于 2026 年 10 月。

  7. GitHub · 去对齐工具与仓库61

    RedLens:面向本地大语言模型的自动化红队安全评估框架

    Vedant Patel 在 GitHub 开源了 RedLens,一个针对 Ollama 本地运行模型的自动化红队与安全评估框架,支持提示词变异、响应分类、OWASP LLM Top 10 映射和 PDF 报告生成。对 llama3:latest 的最终评估共 1320 次测试(1200 恶意 + 120 良性),ASR 为 28.5%,Block Rate 71.5%,Security Score 79.7/100,最高风险类别为 Jailbreak、Data Extraction 和 Misinformation,Direct 变异是最有效攻击手段(ASR 36.3%)。

    推荐理由:给出了完整的攻击变异、指标计算和OWASP映射方法,并附llama3的实测数据,可作为本地LLM安全评估的可复用框架。

10月9日周五
  1. GitHub · 去对齐工具与仓库64

    ShadowShield 开源 LLM 提示词注入纵深防御框架

    GitHub 仓库 0xsl1m/shadowshield 发布 ShadowShield,一个面向 LLM 应用与多智能体系统的纵深防御安全框架,强调针对提示词注入(OWASP LLM01)的防护。框架统一扫描模型输入与输出,涵盖越狱、编码混淆、数据外泄与密钥泄露,提供净化、隔离、限流等主动响应,并集成 OpenAI/Anthropic/LiteLLM/LangChain 及反向代理网关。基准数据在 deepset/prompt-injections 上加 DeBERTa 分类器后召回率从 regex 18% 提升到 48% 且 0% 误报;AgentDojo 场景中加入 mDeBERTa 分类器后银行/旅行/slack 场景 ASR 降至 0%。

    推荐理由:这个 LLM 应用防护框架主动公开了外部盲测集的召回率和误报率,读者可以据此评估分层检测方案的真实防御效果。

  2. GitHub · 去对齐工具与仓库63

    Shikumi 开源:沙箱化 AI 编码智能体把 GitHub issue 变成已审查的 PR

    theninjadojo 发布开源自托管项目 Shikumi(software-factory),基于 Claude Code(Codex 与 Gemini 为实验性支持)把打了标签的 GitHub issue 由沙箱化智能体分析、设计、规划、实现并开出 PR。核心假设是智能体必会被提示注入,因此沙箱内无网络、无凭据、只读 root,智能体只能产出补丁或文档,由 orchestrator 校验后才接触 GitHub,人通过 Telegram 或 Slack 参与决策。项目现为可用原型,已在一个多仓库项目上实际运行,文档提醒先阅读 Limits 和 SECURITY.md,并指出订阅令牌用于无人值守自动化在 Anthropic 条款上属灰色地带。

    推荐理由:原文围绕代理必被提示注入这一假设设计沙箱与验证流程,安全模型的取舍和部署细节都写得具体,可作自托管编码智能体的参考。

  3. GitHub · 去对齐工具与仓库38

    N.O.V.A(Nexus of Omniscient Virtual Automation)智能体项目分阶段更新

    GitHub 上的 N.O.V.A 智能体项目按阶段推进自动化能力:通过 pyautogui 与 Playwright 实现 flag 门控的键鼠/浏览器操作,接入 Gemini 原生 function-calling 与 MCP 客户端(所有 MCP 工具为 confirm 级)。项目以安全为核心:提示词注入污点追踪、最小权限工具范围、OS 加密凭证库、任务中断后只重放请求不重放授权。62-64 阶段还修复了表单无法填写、明文存储输入值、focus_window 虚假返回 ok:True 及批量调用静默截断等缺陷。

  4. arXiv · cs.CL59

    APEX-Harm 基准评测长程智能体在共享工作区中的注入攻击安全性

    论文提出 APEX-Harm 基准,评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击,涵盖金融、咨询和法律任务,每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例,Opus 5 与 Sonnet 5 总体攻击成功率最低(8% 和 20%),任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%,Gemini 3.8 Flash 平均任务得分最高(0.877)但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全,智能体可能产出正确交付物的同时执行未授权操作。

    推荐理由:基准覆盖六类注入攻击和12个前沿模型的实测数据,可以用来对比任务得分与攻击成功率之间的差距。

  5. GitHub · 去对齐工具与仓库70

    sixi-scanner:面向 LLM Agent 的命令行红队扫描工具在 GitHub 开源

    Radoslaw Brus 在 GitHub 开源了 sixi-scanner,一款针对 LLM Agent 端点的命令行红队扫描器,内置 27 种探测技术,仅依赖 Go 标准库,报告支持 JSON、SARIF 2.1.0 和 Markdown。工具会用双标记机制降低误报,在 1,456 条真实回复上把 payload 召回从 0.444 提到 0.889;v0.6.0 在作者维护的 agent-redteam-benchmark 上 Precision 0.688、Recall 0.833 均列七款工具第一,但广度逊于 garak 和 promptfoo。支持多轮探测、可选 LLM 佐证阶段,Apache 2.0 许可,仅限测试已获授权的端点。

    推荐理由:作者给出了在公开红队基准上与其他六款工具的对比数据和误报处理逻辑,读者可以据此评估这个扫描器适不适合自己的 Agent 测试场景。

  6. GitHub · 去对齐工具与仓库64

    Shannon 开源 Rust 编码 Agent 发布,统一 shannon CLI 取代 shannon-code

    Shannon 是 Apache-2.0 全开源、Rust 编写的本地优先 AI agent 工作区,统一后的 shannon CLI 取代早期 shannon-code 产品,安装路径与子命令不变。支持 Anthropic、OpenAI、DeepSeek、Z.ai (GLM)、Ollama 等 BYOK 多供应商,密钥留在本机 0600 文件;一个引擎提供终端 TUI、headless、shannon serve 和桌面端四种形态,兼容 CLAUDE.md、.claude agents、skills、hooks 与 .mcp. 生态。

  7. GitHub · 灵魂体仓库44

    llm-regression-engine:面向 LLM 系统的自动化回归测试与红队 CI/CD 平台

    GitHub 开源项目 prasoon-21/llm-regression-engine 是一个面向 LLM 系统的自动化回归测试、红队测试与 CI/CD 门控平台,集成 LangSmith、Promptfoo、FastAPI、LiteLLM 和 GitHub。它通过 HMAC-SHA256 验证 GitHub Webhook,从 LangSmith 采集 trace,生成提示词注入等对抗性测试用例,并执行 Schema 校验与 LLM-as-a-Judge 评估。平台追踪 P50/P95/P99 延迟与 token 消耗检测回归,将结果以 Commit Status 和 Markdown 报告写回 PR,支持 Docker 部署 5 容器拓扑。

  8. GitHub · 去对齐工具与仓库24

    haggle-garage:与 AI 二手车商议价的开源 Agent 项目

    开发者推出 haggle-garage 项目,让用户与 AI 二手车商 Agent 议价,或诱导其泄露秘密最低价。项目基于 Google ADK、LangGraph 构建,涉及 MCP、A2A 协议、RAG、评测和 LLM 安全,部署在 Cloud Run,目前处于 8 周开发周期的第 3 周。seller agent 通过 A2A 提供三个安全等级的议价终端游戏。

  9. GitHub · 去对齐工具与仓库63

    kuangren777 开源 Persist 论文代码与数据,提供 Agent 持久记忆投毒攻防测试框架

    Persist 项目发布论文配套代码与数据,包含测试框架、防御措施、运行脚本和论文分析所用的全部冻结结果行。框架研究工具调用型 LLM Agent 的持久记忆投毒:会话1中 Agent 读取不可信文档并写入记忆库,会话2中攻击者值若到达副作用调用的目标参数即算攻击成功;出处门控(provenance gate)通过标记来源并拒绝仅由不可信输入支撑的目标值来防御。reproduce_all.sh 无需网络约15秒离线复现,22个 .tex 文件逐字节一致,冻结结果共 NumTrials=18683;覆盖 claude-sonnet-5、gpt-5.6-sol、gemini-3.1-pro 等6个托管模型和 Qwen3-8B、Llama-3.1-8B 等 vLLM 本地模型,MIT 许可。

    推荐理由:随论文放出完整测试框架与冻结结果,离线15秒即可逐字节复现论文全部数字,方便核查记忆投毒攻防结论。

  10. GitHub · 灵魂体仓库43

    PhishSOAR:企业邮箱自动化钓鱼邮件分诊与响应系统

    PhishSOAR 是一个开源的企业邮箱钓鱼邮件自动分诊与响应项目,针对尼日利亚缺乏安全团队的中小企业。系统每分钟检查受保护的 Gmail 收件箱,结合 SPF/DKIM/DMARC、链接与附件分析、OCR/QR 码识别、VirusTotal 等威胁情报,并用 LLM 在脱敏副本上判断意图,评分 70+ 判恶意自动隔离、40+ 标记可疑,检测在 1 分钟内完成并向用户发送通俗告警,且从不删除邮件。

  11. GitHub · 去对齐工具与仓库25

    mlbala 开源 ai-guardrails-lab:LLM 应用与 AI 智能体防护栏动手学习仓库

    mlbala 在 GitHub 发布 ai-guardrails-lab 仓库,用于动手学习为 LLM 应用和 AI 智能体构建防护栏,内容源自 Complete AI Security Bootcamp。仓库涵盖 NeMo Guardrails、AWS Bedrock Guardrails、Guardrails AI 等防护栏工具,LangChain、LangGraph 智能体工作流,以及 LangSmith、Portkey、DeepEval、PyRIT 等可观测性、网关、评测与红队测试实践。项目仍在进行中,示例与学习笔记随课程推进持续添加。

  12. GitHub · 去对齐工具与仓库66

    NoireBox 发布 AI Agent 防篡改审计日志工具

    法国独立开发者发布开源工具 NoireBox(MIT 协议),用 SHA-256 哈希链加 Ed25519 签名日志为 AI Agent 决策提供防篡改记录,支持 RFC 3161 时间戳锚定、OpenTimestamps/Bitcoin 见证和可离线验证的审计导出。工具面向欧洲 GDPR 与 EU AI Act 合规场景,内置约 250 KB 的法英双语注入检测模型和可插拔 guardrail,提供 REST API、Python SDK 与 MCP 四个工具,并附 253 项测试与 qwen2.5:0.5b 本地实测,显示注入台词在调用前被移除且日志封存为 incident 事件。

    推荐理由:原文把防篡改日志、RFC 3161 时间戳锚定与离线验证器讲清了实现方式,并给出真实 LLM 注入场景的实测对照,方法可迁移到自有 Agent 管线。

  13. GitHub · 去对齐工具与仓库27

    Prompt Saver 开源:LLM 提示词管理与 Claude Code MCP 集成平台

    Prompt Saver 是一个开源的 LLM 提示词管理平台,支持保存、版本化、全文搜索提示词,基于 Next.js 16、React 18 和 Neon Postgres 构建。它运行远程 MCP 服务器,让 Claude Code 通过 search_prompts、get_prompt、create_prompt、update_prompt、save_version 五个工具直接搜索和管理提示词库,收藏的提示词还可注册为斜杠命令。另提供 Chrome 扩展,可从任意网页或 AI 聊天界面保存提示词,API 通过 ps_ 前缀的 bearer token 鉴权。

  14. GitHub · 灵魂体仓库34

    SnehaSaravaiya 的 LLM 红队测试 100 天公开挑战仓库(Red-Teaming)

    GitHub 用户 SnehaSaravaiya 正在进行为期 100 天的 LLM 对抗性测试公开挑战,针对 GPT、Claude 和 Gemini 探测越狱、提示词注入与安全边界失效,重点研究多轮攻击链,已复现一个叠加虚假权威、时间压力与学术包装的越狱手法。仓库按 /findings/、/days/、/techniques/ 和 Findings.csv 组织成果,并参考 OWASP Top 10 for LLM Applications、NIST AI RMF 和 MITRE ATLAS 框架,作为其求职 AI 安全/红队岗位的公开实证记录。

  15. arXiv · cs.CL42

    提示词优化器会破坏未被评分的要求吗?一项预注册研究

    一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 和 TextGrad,发现三者都会违反未被评分的要求,如 HotpotQA 上引用有效性净回归达 10.7 至 41.6 个百分点。事后分析显示,主要原因是优化后的提示词在要求的 JSON 对象前输出推理,在 200-token 输出上限下 13.9% 至 47.0% 的响应在给出答案前被截断。将上限提高到 1,024-token 后提取失败消失,内容回归低于 1 个百分点。

  16. GitHub · 去对齐工具与仓库57

    VampSecure Labs 开源 MCP 服务器安全审计工具 vamp-mcp-audit

    VampSecure Labs 在 GitHub 发布开源 MCP 服务器安全审计工具 vamp-mcp-audit(pip/Homebrew 安装,需 Python 3.11+),通过 5 个阶段审计 live 服务器并输出 JSON/HTML 报告与 exit codes 供 CI/CD 使用。

    推荐理由:开源 MCP 服务器安全审计工具,可本地运行并覆盖 OWASP MCP Top 10,还附带 ASCII 隐蔽注入的解码证据。

  17. GitHub · 去对齐工具与仓库26

    systempromptio/awesome-ai-agent-governance:生产环境 AI 智能体治理资源大全

    GitHub 上 systempromptio 发布的 awesome-ai-agent-governance 仓库,收录面向生产环境 AI 智能体治理的工具、框架、标准与资源,覆盖策略执行、审计追踪、访问控制、成本管理与合规工具。清单涵盖 ISO/IEC 42001、NIST AI RMF、EU AI Act、OWASP Agentic AI Top 10 等标准法规,以及 Claude Code 与 MCP 治理、策略引擎、红队安全等专题。

  18. GitHub · 去对齐工具与仓库61

    skill-guard 开源:Claude Code 等编程智能体安装 Agent Skill 前的风险扫描工具

    temptation2017 在 GitHub 发布单文件零依赖 CLI 工具 skill-guard,用于在把 Agent Skill(SKILL.md 技能包)装进 Claude Code、Codex、Cursor、OpenCode 前扫描目录中的风险模式,覆盖下载外传、动态执行、凭证路径、提示词注入等。内置 SHELL_CURL、CREDENTIAL_PATH、PROMPT_INJECTION 等分级规则,默认发现 high 级别以退出码 1 失败,可集成进 CI 或安装钩子;作者说明规则是启发式而非沙箱,需配合 paste-guard 脱敏使用。

    推荐理由:给出了内置规则表、退出码和用法示例,读者可以在装 Agent Skill 前直接复用这道本地扫描流程。

  19. GitHub · 灵魂体仓库50

    开源项目 llm-eval-observatory 发布:用 GitHub Actions 夜间评测 LLM 自动化可信度

    Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory,一个持续运行的 LLM 评测仪表盘:定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测(KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差),结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现,含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ(目前 0.94 到 1.0);每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成,项目 MIT 许可。

  20. GitHub · 去对齐工具与仓库53

    WasmAgent 开源 wasmagent-js:给 Agent 工具调用加可验证证据层的 JS 运行时

    WasmAgent 在 GitHub 开源 wasmagent-js,为 Agent 工具调用提供 Protect、Record、Audit、Admit 的可验证证据层,可通过 npm 安装 @wasmagent/mcp-firewall、@wasmagent/aep 等包。README 介绍 MCP 运行时防火墙(静态扫描 injection/exfil/rug-pull、每调用策略、consent ledger)、Ed25519 签名的 AEP 证据记录、QuickJS 等 WASM 沙箱执行、reducer 驱动的 agent 与 UI 共享状态,并提供从 rollout 排序导出 DPO/PPO 训练数据的 CLI。

  21. GitHub · 去对齐工具与仓库38

    PromptShield AI:开源 LLM 安全防护网关项目

    PromptShield AI 是一个学生研究原型,定位为反向代理与内联安全网关,在模型推理前后检查提示词、RAG 检索内容、Agent 工具调用和输出,防御 prompt injection、越狱、数据泄露等威胁,并执行 ALLOW/WARN/BLOCK 策略。技术栈采用 FastAPI、React 18 与 gemini-2.5-flash 混合启发式检测,API key 以 SHA-256 零知识哈希存于 SQLite。项目明确声明非生产级安全设备,不提供绝对安全保证。

  22. GitHub · 去对齐工具与仓库30

    CollieAi 开源 LLM Firewall:面向 GPT、Claude、Gemini 的 AI 安全代理与防护栏

    CollieAi 推出 LLM Firewall,一款即插即用的 provider 无关 AI 安全代理,可屏蔽 PII、拦截 prompt injection 与越狱攻击,并记录每次 LLM 调用。只需修改 base_url,即兼容 OpenAI、Claude、Gemini、Azure OpenAI、AWS Bedrock 及自托管模型,ML 分类器在 10-50 ms 内检测注入攻击,规则支持 monitor/enforce 双模式并可双向过滤输入输出。免费提供每月 20,000 次调用,覆盖 OWASP LLM Top 10 风险。

  23. GitHub · 去对齐工具与仓库58

    Angry Switcher:Claude Code 插件在发送前清洗你的提示词

    作者 @timoncool 发布 Claude Code 插件 Angry Switcher,在提示词送达 Claude 前用本地检查加 Sonnet 5.5 低强度模型清洗错字、translit、错误键盘布局、脏话和大写,保留问题、路径、数字与代码。清洗层也可切换到自有 DeepSeek V4.1 Flash 密钥,让原始文本不经过 Anthropic。实测 51 条真实消息语义保留 97-100%,每条清洗中位耗时 1.4 秒、API 价格约 $0.0015,并提供 /angry 命令组、A/B 对比与 replay 测试室。项目地址 https://github.com/timoncool/angry-switcher。

    推荐理由:作者给出清洗层在真实提示上的语义保留率、耗时和成本实测数据,读者可以据此评估是否值得接入自己的 Claude Code 工作流。

  24. GitHub · 灵魂体仓库10

    talk-normal:让 AI 用自然人类语言说话的开源 Windows 工具

    GitHub 项目 talk-normal 提供一组系统提示词指令,去除 AI 回复中的填充词和机械句式,让聊天模型说话更像真人,适用于支持 System Prompt 或 Custom Instructions 的聊天工具。它提供 Windows 10/11 的 .exe 安装程序,需至少 4GB 内存,工具本地运行、不上传对话数据,应用启动时自动检查更新。

  25. arXiv · cs.AI57

    arXiv 论文评测七个开源模型作 Agent 护栏:一个词即可攻破类型化决策门控

    一篇 arXiv 论文(arXiv:2610.12292)评测了七个开源权重模型作为 Agent 护栏的决策能力,在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%,随机水平为 50%。在 Agent 工具调用合成测试中,六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%;给宽松选项起误导性名称后,对四个把标签纳入输入的模型该错误率达到 93% 至 100%,作者测试的所有防御手段均被攻破,结论是这类模型可以减少人工审核量,但不应作为最终决策组件。

    推荐理由:论文分别统计放行与拦截两类错误,并实测攻击方法,读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。

  26. arXiv · cs.AI42

    LTBD:用于提示词注入防御的可学习信任边界分隔符

    研究者提出 LTBD(Learnable Trust-Boundary Delimiters),一种不改 LLM 参数的轻量提示词注入防御方法,通过少量可学习分隔符在输入中显式编码信任边界,区分可信用户指令与不可信外部数据。LTBD 在 AlpacaFarm 上达到 0.00% ASR,TaskTracker 上仅 0.11-0.19% ASR,优于推理时防御、媲美训练类方法,且在对手完全知晓防御机制的自适应攻击下仍然有效。

  27. GitHub · 去对齐工具与仓库68

    PromptShield 开源发布:对系统提示词发起 50 种攻击并报告哪些得手

    SalCyberAware 发布开源工具 PromptShield,粘贴系统提示词即可用对抗攻击库测试其是否泄露或被攻破,提供无需注册的网页演示和完整 CLI。演示跑 13 种攻击、覆盖 6 个 OWASP LLM 类别,CLI 跑全部 50 种;跨厂商评审由 Claude Sonnet 主判、Gemini Flash 兜底,目标模型 gpt-4o-mini,避免同厂自评偏置。盲标 held-out 评测 holdout_v2 在 gemma3:4b 上准确率 83%,无假阳性,错判多转为人工复核而非误判,原因均已逐条定位为下一轮修复项。MIT 许可,支持 HTML 报告输出。

    推荐理由:作者给出盲标的 holdout_v2 独立评测和五态诚实报告机制,读者可以据此判断这个提示词攻击扫描工具的准确率与局限。

  28. GitHub · 去对齐工具与仓库74

    token-goat 发布:面向 AI 编码工具的 token 优化与提示词注入防护工具

    DFKHelper 在 GitHub 发布 token-goat,一款通过拦截 AI 工具读写来自动降低 token 用量的开源工具,宣称可减少 40–90% 的 token 消耗。它以 hook 形式拦截重复读文件、全文件读取、大截图和构建日志等六类浪费,支持 Claude Code、Gemini CLI、Codex CLI、Aider、Cursor、Cline 等 20 多个 AI 编码工具,并对所有抓取内容加不可信内容围栏以防提示词注入。README 附带基准数据,如在 13,870 次真实读取样本中 Markdown 大纲模式扣下 40.4% 的字节,截图可压缩约 91%,安装仅需 npm install -g token-goat 后运行 token-goat install。