发布基于 Ollama 的 SAST LLM 基准测试仓库
先了解这件事
用户 nasehqusyairy 在 GitHub 发布了 sast-llm-benchmark 仓库,用于对本地大模型在 SAST(静态应用安全测试)任务上的表现进行基准测试。仓库包含 OWASP Benchmark Java 数据集、提示词、基于 Ollama 的 runner 及实验结果,可通过 prepare.sh 和 run.sh 脚本复现实验。 使用要求为在 Linux/macOS 上运行 Bash 与 Python 3.10 以上版本,并本地安装运行 Ollama;支持 deepseek-coder:6.7b、qwen2.5-coder:7b、gemma4:e4b 等本地模型,提供 baseline、zero-shot、CoT、ToT 等场景。运行 FindSecBugs 场景需额外安装 Git、Java 和 Maven。每次运行的 JSONL 结果与 hash 记录存于 results/llm/raw/ 目录以便复现。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 去对齐工具与仓库nasehqusyairy/sast-llm-benchmark:基于 Ollama 的 LLM SAST 基准测试仓库
GitHub 仓库 sast-llm-benchmark 包含 OWASP Benchmark Java 数据集、提示词、基于 Ollama 的 runner 及实验结果,可通过 prepare.sh 和 run.sh 脚本复现实验。支持 deepseek-coder:6.7b、qwen2.5-coder:7b、gemma4:e4b 等本地模型,提供 baseline、zero-shot、CoT、ToT 等场景,FindSecBugs 场景需额外配置 Java 和 Maven。每次运行的 JSONL 结果与 hash 记录存于 results/llm/raw/ 以便复现。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。