Geloos/llm_benchmark:基于真实 MITRE ATT&CK 攻击日志的 LLM 提示词注入评测仓库
GitHub 仓库 Geloos/llm_benchmark 将越狱提示词注入真实 MITRE ATT&CK 攻击日志,让本地 LLM(通过 Ollama 运行 gpt-oss:20b、llama3.1:8b、gemma3:12b)判断日志是攻击还是正常流量,以此计算攻击成功率(ASR)。每条日志都是真实攻击,模型给出"正常"判定即代表注入生效。实验含 plain、hex、--dovsdofs、--ob 四类,每轮用 5 个 seed(42–46)重复,比较低/中两档温度下的平均 ASR 与 95% 区间,plain 实验使用 10 个类别的 47 种注入。