GitHub · 灵魂体仓库·· 2 小时前AI 评分50
Geloos/llm_benchmark:基于真实 MITRE ATT&CK 攻击日志的 LLM 提示词注入评测仓库
Geloos/llm_benchmark
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Geloos/llm_benchmark
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 Geloos/llm_benchmark 将越狱提示词注入真实 MITRE ATT&CK 攻击日志,让本地 LLM(通过 Ollama 运行 gpt-oss:20b、llama3.1:8b、gemma3:12b)判断日志是攻击还是正常流量,以此计算攻击成功率(ASR)。每条日志都是真实攻击,模型给出"正常"判定即代表注入生效。实验含 plain、hex、--dovsdofs、--ob 四类,每轮用 5 个 seed(42–46)重复,比较低/中两档温度下的平均 ASR 与 95% 区间,plain 实验使用 10 个类别的 47 种注入。
来源:GitHub · 灵魂体仓库 · github.com