跳到正文
10月26日周一
  1. GitHub · 灵魂体仓库50

    Geloos/llm_benchmark:基于真实 MITRE ATT&CK 攻击日志的 LLM 提示词注入评测仓库

    GitHub 仓库 Geloos/llm_benchmark 将越狱提示词注入真实 MITRE ATT&CK 攻击日志,让本地 LLM(通过 Ollama 运行 gpt-oss:20b、llama3.1:8b、gemma3:12b)判断日志是攻击还是正常流量,以此计算攻击成功率(ASR)。每条日志都是真实攻击,模型给出"正常"判定即代表注入生效。实验含 plain、hex、--dovsdofs、--ob 四类,每轮用 5 个 seed(42–46)重复,比较低/中两档温度下的平均 ASR 与 95% 区间,plain 实验使用 10 个类别的 47 种注入。

10月22日周四
  1. GitHub · 3D 生成新仓库33

    ChaosGuard:自托管的 AI 代码安全扫描与混沌工程平台

    开源项目 ChaosGuard 是一个自托管 AI 安全平台,可扫描任意 GitHub 仓库,提供 RECON、HUNTER、SIEGE、LIVE 四级递进扫描,耗时从约 1 秒到约 35 分钟不等。每项发现均附带自动生成的代码修复、统一 diff 和一键创建 PR。平台通过 Ollama 本地推理、ChromaDB 进行 RAG 代码理解,基于 Kafka 的架构可从单机扩展到 Kubernetes 集群,并提供混沌工程韧性分析与完整可观测性栈。

10月20日周二
  1. arXiv · cs.AI62

    arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%

    arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。

    推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。

10月10日周六
  1. GitHub · 去对齐工具与仓库38

    MSA v2.0:LLM 驱动的自主移动应用安全渗透测试平台开源上线

    GitHub 上开源的 MSA v2.0 是一个自主、隐私保护的移动应用渗透测试平台,内置 10 阶段自动化分析流水线,结合本地混合 RAG 引擎(BM25 + TF-IDF,RRF k=60)和本地 Ollama 推理(qwen2.5-coder:1.5b),无需云端即可检测 Android 和 iOS 漏洞。在 DroidBench 3.0、Ghera 及 104 个真实 Google Play 应用的评测中,其召回率达 94.2%,误报率降至 7.8%,平均扫描时间 47.3s,并能自动生成 CVSS v3.1 评分与代码补丁,全程 100% 本地离线运行。

  2. GitHub · 去对齐工具与仓库61

    RedLens:面向本地大语言模型的自动化红队安全评估框架

    Vedant Patel 在 GitHub 开源了 RedLens,一个针对 Ollama 本地运行模型的自动化红队与安全评估框架,支持提示词变异、响应分类、OWASP LLM Top 10 映射和 PDF 报告生成。对 llama3:latest 的最终评估共 1320 次测试(1200 恶意 + 120 良性),ASR 为 28.5%,Block Rate 71.5%,Security Score 79.7/100,最高风险类别为 Jailbreak、Data Extraction 和 Misinformation,Direct 变异是最有效攻击手段(ASR 36.3%)。

    推荐理由:给出了完整的攻击变异、指标计算和OWASP映射方法,并附llama3的实测数据,可作为本地LLM安全评估的可复用框架。

10月9日周五
  1. GitHub · 灵魂体仓库38

    GrizzDog-AI:Butler 社区学院的 LLM 安全教学实验项目

    Butler 社区学院(Andover 校区)网络防御教师开发的 GrizzDog-AI 是一个独立学术研究与教学用的 LLM 安全实验沙箱,2026 年 10 月更新后全部 27 个基准攻击向量已映射到 OWASP LLM01–LLM07 与 MITRE ATLAS AML.T0051–AML.T0057,并对齐 NSA/DHS CAE-CD 课程知识单元。项目围绕 4 个校园角色(机器犬哨兵、助教、Canvas 评分器、注册主任)提供 6 类红队任务和 4 级难度递进的防护版本,新增 `batch_grade.py` Canvas 批量评分器(含 HMAC-SHA256 签名校验)与一次构建全部 18 个模型的 `build_models.py`。

  2. GitHub · 去对齐工具与仓库66

    knowyourai 开源:一条命令核查本地模型文件是否与模型卡声明一致

    GitHub 用户 ppradyoth 发布开源工具 knowyourai,通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致,用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型,不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则,支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库,其中 61 个(48%)的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段,仓库地址为 https://github.com/ppradyoth/knowyourai。

    推荐理由:工具只读文件头不运行模型,还给出了对下载量前 200 的 GGUF 仓库的模板差异实测,方法可复用。

10月8日周四
  1. GitHub · 去对齐工具与仓库56

    Wirken 发布面向企业 Agent 的安全网关开源仓库

    gebruder 在 GitHub 开源了 Wirken,一个面向自主 Agent 的企业网关,以单个静态 Rust 二进制分发,MIT 许可。网关将 Telegram、Slack、Teams 等消息渠道接入 Agent,核心假设 Agent 本身不可信:凭据保存在加密 vault 中不进入模型上下文,每个动作执行前写入哈希链审计日志,默认最低权限,shell 命令在无网络的临时容器沙箱中运行,且按 Agent 设置支出预算。模型连接不绑定厂商,可接 frontier API、Ollama 本地权重或欧盟托管端点。README 明确列出已知局限,包括出口流量未完全隔离、沙箱可关闭、注入检测只标记不拦截、权限按 Agent 而非按用户生效等。

    推荐理由:该仓库写明了权限模型、沙箱与审计的实现边界,并列出逃逸开关和已知局限,方便读者评估这类企业 Agent 网关的适用场景。

  2. GitHub · 灵魂体仓库30

    JP-BX/AI-LLM-Security-Testing-Lab:基于 Qwen3:8B 的提示词注入攻防实验项目

    一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot,并开发提示词注入检测层,通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例,覆盖良性提示、误报和检测绕过尝试,最终全部通过,在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词,基于关键词的过滤是教学原型,不能替代生产级 LLM 安全防护。

  3. Reddit · r/LocalLLaMA64

    192 次本地实测:即使表现良好的模型也不应自行授权工具调用,作者发布 CLIM Agent Guard

    作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b(Q4_K_M)各跑 96 次,共 192 次 live 测试,验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证,无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审,只对照宿主状态检查工具调用的授权、目标和重复提交。

    推荐理由:作者用 192 次本地实测给出确定性行为守卫的前后对照数据,还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异,可作工程参考。

  4. GitHub · 灵魂体仓库59

    LLM-Agent-Firewall-MAPI-6K 仓库发布可复现的多智能体提示词注入检测实现

    sushant-me 在 GitHub 发布了论文《LLM Agent Firewall》的可复现实现,包含 6,000 条确定性智能体间消息语料、亚毫秒级 TF-IDF + 逻辑回归分类器,以及置信度校准的两层路由,仅升级不确定流量给语义判官。在 CPU 上约一分钟跑完全部核心结果,无需 GPU、API 密钥或网络。实测 Strata I+II held-out 准确率 1.000、0 误报 0 漏检,分类器平均延迟 0.333 ms,5% 隐蔽攻击占比下混合延迟 271.5 ms(比全部走判官快 19.9 倍)。

    推荐理由:作者复现了论文的多智能体提示词注入防火墙方法,还披露了语料格式混淆这类基准设计陷阱,做法对自建评测的人有参考价值。

  5. GitHub · 灵魂体仓库4

    Ollama-Windows:在 Windows 上本地运行 Qwen、DeepSeek 等 AI 模型

    Ollama-Windows 是一个面向 Windows 10/11 的本地 AI 运行工具,宣称提供免费官方下载,支持 Qwen、DeepSeek、CodeGemma 等模型,无需编程即可点按安装使用。它强调数据全部在本地处理、可离线运行,内置 API 服务器、RAG 文档检索、Web UI 和远程/云端代理配置等进阶功能。文中还称 8GB 内存的普通机器即可运行较小的模型,且软件可免费用于商业用途。

10月7日周三
  1. GitHub · 去对齐工具与仓库37

    Sentinel Inbox(phish-guardian-ollama):基于 Ollama 本地大模型的钓鱼邮件行为启发式分析引擎

    开源项目 Sentinel Inbox 用本地 Ollama 托管的大语言模型(如 llama3.2、mistral、qwen2.5)分析 EML 邮件,从紧迫感、权威冒充、熟悉度伪装、逻辑谬误密度、附件异常、多源信誉六条行为轴输出 0-100 的操纵指数评分(MIS),并可选接入 VirusTotal API 查询 URL 和附件哈希信誉。全程本地运行、不依赖云端,邮件内容不出本机,适合 SOC 团队优先审阅高分邮件和事件响应团队快速还原攻击意图,报告以 JSON 和控制台可读形式输出。