GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分68
PromptShield 开源发布:对系统提示词发起 50 种攻击并报告哪些得手
SalCyberAware/PromptShield
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/SalCyberAware/PromptShield
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
SalCyberAware 发布开源工具 PromptShield,粘贴系统提示词即可用对抗攻击库测试其是否泄露或被攻破,提供无需注册的网页演示和完整 CLI。演示跑 13 种攻击、覆盖 6 个 OWASP LLM 类别,CLI 跑全部 50 种;跨厂商评审由 Claude Sonnet 主判、Gemini Flash 兜底,目标模型 gpt-4o-mini,避免同厂自评偏置。盲标 held-out 评测 holdout_v2 在 gemma3:4b 上准确率 83%,无假阳性,错判多转为人工复核而非误判,原因均已逐条定位为下一轮修复项。MIT 许可,支持 HTML 报告输出。
推荐理由
作者给出盲标的 holdout_v2 独立评测和五态诚实报告机制,读者可以据此判断这个提示词攻击扫描工具的准确率与局限。
来源:GitHub · 去对齐工具与仓库 · github.com