跳到正文
今天10月27日周二2 条
  1. GitHub · 灵魂体仓库73

    mcp-doctor:为 MCP 服务器与 AI 智能体工具提供评测和防护的开源工具

    vishalhabib99 在 GitHub 开源 mcp-doctor 0.35.0,对 MCP 服务器做静态扫描、模糊测试和实时调用防护,覆盖 Python、TypeScript、Go 和 Rust,可在 CI、pre-commit、Claude Code、Codex 和 Cursor 中运行。工具检测在 805 个真实服务器上找到 15,755/15,977 个工具,修复已合并进 ha-mcp、telegram-mcp(111 个工具一次 PR)等 58 个仓库共 61 项;guard 能识别写入未落地的假成功、schema 参数被忽略和提示词注入导致的密钥外泄,并给 PR 输出 SHIP / FIX-FIRST / BLOCK 结论。

    推荐理由:这个 MCP 服务器检查工具用真实服务器上的召回测量和上游合并修复来支撑结论,读者可以直接借用它 catching 假成功和提示词注入泄露的思路。

  2. GitHub · 灵魂体仓库62

    mcp-doctor:毫秒级审计 MCP server 与 AI agent 工具清单的开源工具

    Ranjith Rosan 发布开源工具 mcp-doctor,可在毫秒级审计 MCP server 或 AI agent 工具清单,在上线前发现不安全工具、损坏 schema 和 token 膨胀问题。工具通过纯 ast.parse 静态检查 Python MCP server(FastMCP、官方 mcp SDK、@tool 装饰器)及 MCP tools/list、OpenAI、Anthropic JSON 清单,不执行不可信代码,Python 3.11+ 零外部运行时依赖。

    推荐理由:审计工具覆盖 shell 注入、SSRF、路径穿越和 token 开销四类问题,规则表和示例报告齐全,部署 MCP server 前可直接复用。

10月26日周一
  1. GitHub · 灵魂体仓库65

    cfgaudit 开源:扫描 Claude Code 等 AI 编码助手配置的安全审计工具

    GitHub 上的 cfgaudit 是一个 AI 编码助手配置文件安全审计工具,首先支持 Claude Code,检查违反最小权限原则或暴露敏感文件的设置,每条发现映射到 OWASP GenAI LLM Top 10 2026,并提供 OWASP MCP Top 10、AISVS 1.01 和 AVE 行为分类的次级映射。支持 Homebrew、go install、预编译二进制和 Docker 安装,输出 JSON、SARIF 2.1.0 和 Code Climate 格式,可接入 GitHub Code Scanning 与 GitLab Code Quality。

  2. GitHub · 去对齐工具与仓库64

    PromptScript 开源发布:一份 AI 规则源文件编译出 50 个编码工具的原生配置

    mrwogu 在 GitHub 发布开源编译器 PromptScript(MIT 协议),用 .prs 源文件统一定义指令、技能、agents、MCP 服务器、hooks 和策略,编译为 Claude Code 的 CLAUDE.md、GitHub Copilot、Cursor 等 50 个编码 agent 目标的原生文件。支持 @inherit/@use/@override 分层继承与确定性合并,内置 prs validate 安全扫描可解码 hex、Base64 等编码并检测提示词注入(PS005、PS012 等规则),远程依赖通过 promptscript.lock 固定以保证可复现构建,并提供 prs migrate 从现有 CLAUDE.md 等文件迁移。

    推荐理由:原文给出了编译流程、50 个目标平台和安全扫描的具体规则清单,读者可以评估能否用一份源文件替代多份易漂移的指令文件。

  3. GitHub · 去对齐工具与仓库53

    LLMSecTest 0.4.0 发布:pytest 插件对运行中的 LLM 应用跑 OWASP LLM Top 10 (2026)

    wehnsdaefflae 发布 LLMSecTest 0.4.0,一个 pytest 插件形式的 LLM 安全测试工具,对运行中的端点执行 OWASP LLM Top 10 (2026) 全部十个类别的攻击探测,输出 CI 可读的 SARIF v2.1.0 报告。覆盖提示注入、敏感信息泄露、供应链、模型投毒、RAG 间接注入等,支持 JailbreakBench/AdvBench 红队集、CVSS v4.0 评分、CycloneDX SBOM,可离线读取 Chroma/FAISS 向量库检测嵌入反演与多租户隔离问题;当前为 pre-alpha,由德国 BMFTR 通过 Prototype Fund 资助(资助号 16IS26S10)。

  4. GitHub · 去对齐工具与仓库47

    dc-tw 开源 ai-ops-gateway:企业级 AI 运维与数据处理 Gateway 骨架

    dc-tw 在 GitHub 发布 ai-ops-gateway,一个整合 FastAPI、SSE、LangGraph、Playwright、MCP 与 Redis 8 的企业级 AI 运维 Gateway 骨架,支持可互换的 Ollama / vLLM 推理后端。系统内置基于 pyatr 的 Agent Threat Rules 检测(默认 detection-only,可按 severity 开启 blocking)、SHA-256 证据校验、多租户 API key 与 OIDC/JWKS JWT 等安全治理,并提供 /metrics 与 OpenTelemetry 可观测性。

  5. GitHub · 3D 生成新仓库44

    pii-llm-guardrails 开源:在 LLM 生成循环内用 AES-256-GCM 加密 PII

    Jalendar Reddy Maligireddy 开源 pii-llm-guardrails 项目,提出 Sealed Decoding 方法,在 LLM 生成循环内检测 PII(EMAIL、PHONE、SSN、IP)并用 AES-256-GCM 密封,只有密钥持有者可解密。基于 Qwen3-0.6B 在 8-vCPU CPU 主机上的实测显示,密封钩子每请求约增加 2.5 ms 开销,首字节时间 209 ms(密封)vs 210 ms(原始),62 项测试通过。项目采用 Ollama 风格 CLI,支持密码轮换与提示词注入扫描,代码从第一天起公开。

  6. GitHub · 灵魂体仓库23

    Cal Poly SLO 开源 CANARY:面向工具调用 LLM Agent 的提示词注入测量与隔离评估框架

    Cal Poly SLO CS + AI Club 在 GitHub 开源 CANARY,一个用于测量和隔离工具调用 LLM Agent 中间接提示词注入的受控评估项目。它将“模型提出的不安全行为”与“系统实际允许的效果”分开记录,并量化每种防护措施对正常任务的代价。实验仅使用本地虚构 fixture 和 fake sink,无网络外发;开发模型为 claude-haiku-5-5,备选 gpt-6-luna,防护方案包括 D1_POLICY_GATE 和 D2_DATAMARKING。

  7. GitHub · 去对齐工具与仓库31

    ABI Analyst:基于 SQL 与 OpenAI 的循证式 AI 商业分析开源项目

    shahil5z 在 GitHub 开源 ABI Analyst,一个用 SQL、统计、机器学习和 OpenAI 回答两年线上零售销售问题的 AI 商业分析工具。语言模型不计算任何数字,所有数值由 SQL 和 Python 在只读 DuckDB 数据库上算出,OpenAI 仅在解析不确定的问题和措辞解释时使用,每个问题最多两次调用,无 API key 也可用模板回答。解释中每个数字必须与计算证据一致,并支持同比增长、7-90 天预测、异常检测、RFM 客户分层与显著性检验等功能。

  8. GitHub · 去对齐工具与仓库42

    Iago:开源 Python CLI 越狱与护栏绕过测试工具

    Iago 是一个 Python CLI 渗透测试工具,对自有模型批量运行 guardrail 绕过技术库,多轮重复试验并生成含加固建议的渗透式报告。每次测量给出 95% CI,提示词泄露按预埋密文评分,伪造历史攻击带安慰剂对照,还通过实际 tool call 测试 agent。默认目标是 Ollama,也支持经 --authorized 测试 Anthropic API。

  9. GitHub · 去对齐工具与仓库55

    RegLens 开源:面向信用社员工的监管合规 Copilot 与幻觉评测

    NYU 的 Sai Akhilesh Vangala 开源了 RegLens,一个基于联邦消费银行法规的信用社客服 Copilot,语料为 2026-10-02 固定版 eCFR,含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议,确定性代码把关:引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单,未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0,单题成本 $0.0013;检索实测发现混合检索(BM25+dense RRF)反而低于纯稠密检索,引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47,项目以 MIT 许可发布。

    推荐理由:作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置,检索与幻觉数据齐全,可作 RAG 验证设计的参照。

  10. Reddit · r/LocalLLaMA22

    LocalLLaMA 用户寻找可检测间接提示注入的小型本地分类器(支持英德语)

    一位 Reddit r/LocalLLaMA 用户在构建本地 agent 系统(主 LLM 运行于 24 GB GPU),希望找一个在 agent 处理工具结果前快速筛查间接提示注入的分类器,支持英文和德文(含混合语言与 OCR 噪声文本),要求单条检测远低于 1 秒、可开源、阈值可调、误报低。其已尝试 Prompt Guard 2 86M、PIGuard 和 StackOne Defender,但尚无模型被验证对德语有效,正在征集模型推荐、微调数据集与防御 adaptive attack 的经验。

  11. Reddit · r/LocalLLaMA36

    Reddit 用户 OpenJev 竞技场:让 LLM 互相格斗还可发送心理攻击提示词

    Reddit r/LocalLLaMA 用户发布了一个让 LLM 对战的竞技场:每个模型作为格斗者读取游戏状态,在 move、block、punch、kick、fireball 中选择动作,并支持“心理攻击”——向对手的下一次提示词注入消息,尝试诱导对手误判,但不改变实际游戏状态。平台提供战斗回放与决策记录,每份配置有独立 rating 记在昵称下,注册赠 1 美元,可玩 100 场以上。

  12. GitHub · 灵魂体仓库47

    AccessCast:基于 Gemma 4 on AMD 的多版本无障碍视频生成项目

    AccessCast 是为 AMD Developer Hackathon ACT III 打造的无障碍视频项目,用 Gemma 4 31B 为盲人、听障、阅读困难及印地语、意大利语、西班牙语、法语、葡萄牙语用户生成八种版本。系统处理 28 个视频、3,825 次请求共 3.6 million tokens,114 条 easy-read 字幕全部保留否定词,8 例攻击中到达观众 0 例,模型成本约 $0.0053 每分钟。

10月25日周日
  1. GitHub · 去对齐工具与仓库63

    MCP Gateway:用 9-17 个元工具替代上百个 MCP 工具定义的 Rust 网关

    Mikko Parkkola 发布 MCP Gateway,一个单二进制 Rust 网关,把 MCP 服务器和 REST API 聚合在 9-17 个元工具的紧凑表面之后,通过 gateway_search_tools 和 gateway_invoke 按需发现并调用后端工具。每个 MCP 工具定义约耗 150 token,20 个服务器 100 个工具约 15,000 token;实测中元路径完成任务反而多用 1.2-16.1% 输入 token 并多一轮,价值在于目录容量、策略与路由。支持约 8ms 热重载、工具投毒校验、SHA-256 能力固定、多租户身份传播和 A2A 适配,内置 110+ 能力,采用 PolyForm Noncommercial 1.0.0 许可,商用需授权。

    推荐理由:README 附带实测基准,说明网关省下的是目录容量而非完成任务时的 token,读者可据此判断是否值得引入。

  2. GitHub · 灵魂体仓库68

    ClaimCheck 发布本地优先的 LLM 假名化网关

    saasclawai-org 在 GitHub 发布 ClaimCheck,一个本地优先的 LLM 假名化网关,单个自包含二进制提供两种模式:MCP server 供 Cline、Cursor 等客户端调用 read_sanitized 等工具,LLM proxy 对 OpenAI 兼容请求在线路层脱敏、响应时还原。占位符如 [FEIN_1]、[SSN_2] 稳定可逆,映射 vault 只存本机;内置 regex 识别器覆盖 SSN、信用卡、API 密钥、PEM 私钥等,可选本地 BERT ONNX NER 层捕捉自由文本人名组织名。作者明确说明局限:不覆盖 PDF/DOCX 等二进制格式和非英文文本,vault 未加密,MIT 许可下无任何担保。

    推荐理由:原文给出了假名化工具的两种工作模式、可识别的 PII 类型清单和明确不覆盖的范围,便于评估是否适合本地脱敏工作流。

  3. GitHub · 灵魂体仓库49

    TrustRAG:可溯源、防幻觉与提示词注入的 PDF 问答 RAG 项目

    TrustRAG 是一个开源 RAG 项目,针对"chat with your PDF"工具的幻觉、不可验证答案和文档内隐藏提示词注入问题,答案全部来自检索段落并逐条标注页码引用,用第二个模型对每条陈述做事实核查,并给出 🟢🟠🔴 信任分。在其自建的 5 份政策文档、71 个问题的评测中,检索 recall@4 达 100%、MRR 0.97,幻觉率 0%,30 个注入攻击 100% 被移除且无误删,每题平均耗时 6.6 s。技术栈采用 Claude Sonnet 5.5(回答)与 Claude Haiku 5.5(核查/OCR/扫描)、ChromaDB 与 all-MiniLM-L6-v2 本地嵌入,支持 Claude 订阅或 Anthropic API,并提供 Docker 部署。

  4. GitHub · 灵魂体仓库59

    AgentShield 开源发布 v0.1.0:面向 LLM 应用与 AI Agent 的行为安全测试工具

    TroubieD3v 在 GitHub 开源发布 AgentShield v0.1.0,一个测试 LLM 应用、AI Agent、RAG 系统和工具调用安全性的工具,关注 Agent 实际做了什么而非回答文本是否可疑。包含 12 个模块、46 个场景定义扩展为 60 个可执行用例、12 类攻击(含直接与间接提示词注入、工具滥用、内存投毒、跨租户 RAG 泄露),映射 OWASP LLM 与 Agentic Top 10。

    推荐理由:面向 Agent 的安全测试不只看文本回答,而是核对工具调用与实际行为,46 个场景映射 OWASP LLM Top 10,方法可迁移到自己的 Agent 测试。

10月24日周六
  1. GitHub · 灵魂体仓库56

    sundi133 开源 llm-shield AI 护栏平台,内置 19 条 guardrails

    sundi133 在 GitHub 发布开源的 llm-shield,一个部署在应用与 LLM 之间的 AI guardrails 平台,内置 19 条覆盖输入安全、输出质量和 Agent 安全的护栏,采用 CPU 快速护栏先行、LLM 护栏按需运行的两级并行流水线。支持基于 Redis 的多租户护栏策略与限流配额,提供基于角色的工具授权、MCP 工具校验、跨工具数据污点追踪、目标漂移检测和工具 kill switch 等能力,可用内置 Qwen3-8B 后端跑在 RunPod,或作为网关代理任意 OpenAI 兼容 API,并附 NIST AI RMF / OWASP LLM / ISO 42001 合规映射文档,MIT 许可。

    推荐理由:开源 AI guardrails 平台,19 条护栏分两级流水线,覆盖多租户策略、工具授权、数据污点追踪和目标漂移检测,可按清单对照自己的 Agent 安全需求。

  2. GitHub · 灵魂体仓库59

    新加坡国立大学开源 trace-and-gate:邮件 Agent 间接提示词注入防御对比实验

    新加坡国立大学 ESP3201A 课程项目 trace-and-gate 在 GitHub 开源,针对能收发邮件的 LLM 邮件助手,对比溯源追踪与策略检查两类防御对抗间接提示词注入的效果。Qwen3-8B 本地实测中,无防御基线攻击成功率 33.0%,Dual-LLM 为 2.1%,溯源追踪 D1 为 0%,策略检查 D2 为 1.0%,D1h 在套件 v2 复测中攻击成功率 0% 且正常任务完成率与基线持平(87.5%)。项目含 Docker 沙箱环境、LLMail-Inject 真实攻击采样与 AgentDojo 桥接,第 10 周将加入冻结防御后编写的 held-out 攻击集。

    推荐理由:项目给出了五种防御配置的攻击成功率与正常任务完成率对照数据,可用来比较溯源追踪与策略检查这两类防注入思路的代价。

  3. GitHub · 灵魂体仓库65

    开源 Python 库 wardowl 2.0 发布,为 RAG 提供权限感知检索

    wardowl(2.0 前名为 needtoknow)是一个开源 Python 库,把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部,每次命中再复核并故障时关闭,保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回,pgvector 上 recall@10 保持 0.949 以上;百万 chunk 场景下中位延迟 3 到 21 ms,每秒最多可服务 126 次请求。

    推荐理由:项目给出基准数据说明在搜索内做权限过滤可保住召回率,对搭建企业内部 RAG 的团队是可参考的做法。

  4. GitHub · 去对齐工具与仓库22

    dahchenoor-cmd 开源 AI 红队测试作品集仓库:对抗性机器学习评估与防御实践

    dahchenoor-cmd 在 GitHub 发布 AI 红队测试作品集仓库,系统化整理对抗性机器学习评估、攻击 PoC 与防御缓解措施,覆盖本地及企业级 LLM 架构。仓库包含 10 个模块,从环境搭建到企业模拟审计,基于 Ollama、vLLM 运行 Llama-3、Mistral、Qwen 等开源模型,使用 garak、PyRIT 等工具,并对照 OWASP Top 10 for LLM Applications(2026)、MITRE ATLAS 与 NIST AI 100-2e2025 等标准。所有测试均在本地容器化环境中进行,数据全部为合成数据。

  5. GitHub · 去对齐工具与仓库62

    Warden 发布:拦截 MCP 工具调用的 Mac 安全网关

    dbalchunas2-pixel 发布 Warden,一个原生 Mac 应用,作为 MCP 客户端(Claude Desktop、Claude Code、Cursor、Windsurf、Cline)与 MCP 服务器之间的安全网关,拦截每个工具调用并决定是否执行。决策管线含正则规则引擎(<10ms)、NVIDIA Nemotron LLM 分类(经 Nebius Token Factory)、启发式回退与熔断器,全部 fail-closed,并记录 JSONL 审计日志。内置对抗评测(seed 1337,22 次攻击+6 个良性对照)显示攻击检出率 100%、误报 0%、平均判定延迟约 3.5s;洪泛测试 30/30 拦截且仅 3 次调用消耗 LLM 预算。

    推荐理由:原文给出完整决策管线和可复现的对抗评测数据,包括100%攻击检出率、0%误报和约3.5秒平均延迟,便于评估其实际拦截能力。

  6. GitHub · prompt 工程新仓库48

    Quill 开源配套仓库:用 Qwen2.5-1.5B-Instruct 与 Claude API 实测 prompt 工程课程各技术

    开源仓库 Quill(MIT 许可)是法语课程「Prompt Engineering Avancé & Ingestion de Contexte Large」的配套项目,用真实模型对发票、订单、合同条款等业务任务自动评分。实验采用本地模型 Qwen2.5-1.5B-Instruct(Apache 2.0,约 3 GB,4 GB GPU 即可运行),并可通过 quill/claude.py 调用 Claude API 测试结构化输出、严格工具调用与 prompt 缓存。

  7. GitHub · 去对齐工具与仓库50

    agentti-pohja:仅用 Python 标准库的定时 AI agent 框架模板

    GitHub 用户 tonyweckstrom1987 开源了 agentti-pohja,一个用于定时 AI agent 的 Python 模板,适用于每日摘要、新闻追踪、报告等「收集数据、模型摘要、发送到 Telegram」类任务。仅依赖 Python 标准库,无需 pip 安装,要求 Python 3.10+(CI 测试 3.10-3.13),仅支持 Linux/macOS。内置费用上限(默认日上限 0.05 USD、月上限 1.00 USD、每日 3 次 LLM 调用)、调用前预留费用、OpenAI 兼容 LLM 客户端、ok/ei_tietoa 双态结果模式、防 prompt injection 的 <data> 数据块、每日最多一次 Telegram 发送、心跳监控和 systemd 加固模板。

  8. GitHub · 去对齐工具与仓库56

    onmcp:以模型视角检查 MCP server 的开源工具发布

    dgesteves 发布开源工具 onmcp,按模型阅读方式检查 MCP server 的 tools、prompts 和 resources 列表,捕获无法解析的名称、模型填不出的 schema、需猜测的参数及隐藏指令文本,并给出修复建议。支持通过 stdio 或 HTTP 检查服务器,也可检查保存的 tools/list 文件;内置约 20 条规则(如 hidden-characters、injection-phrases、description-budget),输出 pretty/json/sarif/github 四种格式供 CI 使用,示例检查出 poisoned-server.json 中藏在 Unicode tag 字符里的指令。

    推荐理由:作者开源了自己写的 MCP server 检查工具,规则表覆盖隐藏字符、注入语句和 schema 缺陷等模型视角问题,并给出修复建议。

  9. GitHub · 去对齐工具与仓库51

    LLM-Security-Evaluation:基于 Groq API 的异步提示词注入与系统提示词泄露测试工具

    OmarAhmedTHE25th 在 GitHub 开源了 LLM-Security-Evaluation,一个通过 Groq API 评估提示词注入与系统提示词泄露抵御能力的异步对抗测试工具,命令形如 python main.py --model openai/gpt-oss-20b 或 --model llama-3.3-70b-versatile。测试类别映射 OWASP LLM Top 10(LLM01、LLM02、LLM06)与 MITRE ATLAS 技术(AML.T0051、AML.T0024、AML.T0046),覆盖注入、角色扮演指令覆盖、系统提示词与密钥泄露、检索文档隐藏指令及工具参数注入等。

  10. Reddit · r/LocalLLaMA58

    Reddit 用户取证量化模型推理链幻觉:海盗分金谜题、虚构注入与幽灵系统提示词

    Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中,推理链出现三类凭空编造内容:海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词,而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证,提出判别方法:在全部历史中检索可疑文本的首次出现位置,若首现于助手输出即为模型虚构,若首现于工具或抓取内容才是真实注入;并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。

    推荐理由:作者用持久化 SQLite 历史做取证,给出区分量化幻觉与真实注入的可复用判别方法,附完整排查提示词。

  11. GitHub · 去对齐工具与仓库41

    SasanLabs 发布 LLMForge:OWASP VulnerableApp 的 AI/LLM 漏洞实验模块

    SasanLabs 发布 LLMForge,OWASP VulnerableApp 生态中专门用于 AI/LLM 漏洞练习的 FastAPI 应用,通过 Ollama 连接真实本地模型而非模拟响应。项目提供 5 个渐进式实验:提示词注入 10 关、间接提示词注入 4 关、BOLA 医疗聊天机器人 3 关、RAG 上下文投毒 3 关和 RAG 敏感数据暴露 4 关,映射至 OWASP LLM01/LLM04:2025 等标准。默认聊天模型为 phi3:mini,嵌入模型为 nomic-embed-text,经 nginx facade 挂载在 /llmforge 路径,采用 Apache 2.0 许可。

10月23日周五
  1. GitHub · 去对齐工具与仓库29

    Sovereign-Logistics-AI-Agents:基于 A2A 协议与零知识数据主权的物流多智能体网络

    GitHub 开源项目 Sovereign-Logistics-AI-Agents 构建了一个去中心化物流多智能体网络,由 9 个微服务和 4 个隔离 PostgreSQL 数据库组成,通过 Sovereignty Guard 策略防火墙实现客户 PII 100% 脱敏,跨组织交互记录在链式 SHA-256 审计账本中。系统经 OpenRouter 网关调用 Gemini 2.0 Flash / Claude / Llama 推理,支持 Docker Compose 部署。

  2. GitHub · 灵魂体仓库51

    Sentinel 在 GitHub 开源:LLM 应用与 AI Agent 的安全网关

    shahardalva 发布了 Sentinel,一个位于应用与 LLM 提供方之间的反向代理安全网关,客户端把 SDK 指向网关即可使用,真实的 Anthropic 上游密钥不出网关。当前已实现按客户端鉴权、流式转发、并发与请求体上限、分阶段超时和每请求 JSON 结构化日志,仅支持 POST /v1/messages;提示词注入与敏感数据检测、MCP 工具管控等在 Roadmap 中。项目仅用 Go 标准库,Apache 2.0 协议。

  3. GitHub · 去对齐工具与仓库38

    jo-llm:navajyoth.com 问答 Worker 后端

    navajyoth-puthalath13/jo-llm 是一个部署在 Cloudflare Workers 免费套餐上的问答后端,让访客向角色 Jo 提问,Jo 仅依据 content/knowledge/ 知识文件以第一人称简短作答。模型链采用 Groq 的 openai/gpt-oss-120b(reasoning medium)回答、gpt-oss-20b 路由,失败时回退 Gemini gemini-3.6-flash;KV 存缓存与 kill switch,Durable Object 限流,API 通过 SSE 流式返回 token 与最多 4 个按钮。

  4. GitHub · 去对齐工具与仓库61

    TaintGate v0.1.0 开源:面向 LLM 智能体的信息流防火墙

    guru-bharadwaj20 发布 TaintGate v0.1.0,一个让标签随值流动、用确定性 Datalog 策略审查每次工具调用的 LLM 智能体信息流防火墙。受信任 planner 只见可信请求,不可信内容由无工具提取器转成带标签值,MCP 网关在副作用前询问策略引擎并输出可解释的 allow/deny 与带 Merkle 证明的审计日志。AgentDojo v1 对比在 Qwen2.5-0.5B-Instruct CPU 环境下完成 4,356 次评分运行,作者明确称其为下限而非胜利,因 0.5B 模型很少产生有效工具调用,对比未能区分各防御方案;策略检查中位开销 0.6 ms。

    推荐理由:作者把 AgentDojo 对比明确定位为下限而非胜利,并保留负面结果,可据此了解这套信息流防火墙的实际边界。

  5. GitHub · 灵魂体仓库37

    Kair12 开源 llm-safety-lab-garak:基于 Qwen2.5-0.5B-Instruct 与 NVIDIA garak 的 LLM 安全实验仓库

    GitHub 上的 AI 安全课程项目 llm-safety-lab-garak 提供 Web 应用、Telegram 演示和评测证据,对比 Qwen2.5-0.5B-Instruct 加与不加词法输入过滤的表现。评测显示 PromptInject 标记检出从过滤前 12/32 降到过滤后 0/32;但过滤在自定义数据集上拦截 8/24 攻击输入,也误拦 8/24 良性输入。仓库固定 NVIDIA garak 源码(commit 346497a)与模型修订 7ae5576,并声明 ChatGPT Codex 协助了原型与脚本工作。

  6. GitHub · 灵魂体仓库65

    ertugrulbagdat/llm-vuln-scanner 开源发布,自动测 LLM 系统抗 prompt injection 能力

    GitHub 开源项目 llm-vuln-scanner 发布,可对 LLM 系统(chatbot、agent、API 后端)自动发送数百个 prompt injection 和越狱攻击模板,分析回复并生成带 Dayanıklılık Skoru(鲁棒性评分)的分类漏洞报告。

    推荐理由:这个开源扫描器给出了带评分公式和分层判定的注入测试流程,还能拿它检验自己部署的模型对越狱的抵抗力。

  7. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  8. GitHub · 灵魂体仓库69

    Groundhog 开源:通过真实隐身 Chrome 为 AI Agent 提供可信网页阅读的 MCP 服务器

    dmytrome 发布开源项目 Groundhog(MIT 协议),一个 MCP 服务器,让 AI Agent 通过带隐身补丁的真实 Chrome 进行网页搜索、读取和研究,返回干净的 Markdown。核心特性包括默认剥离并报告人类不可见的隐藏文本、每个来源附带 SHA-256 溯源回执、内置 SSRF 防护和域名限速、免模型和 API key。在 28 页隐藏文本基准上,Groundhog 25/28 完全拦截并报告,优于 requests(25/28 但不报告)、Scrapling(16/28)、Jina Reader(15/28)、Firecrawl(7/28);stealth 容器在 sannysoft.com 31/31 项通过。

    推荐理由:项目给出了对 requests、Scrapling、Jina Reader、Firecrawl 的隐藏文本检测对比数据与反爬检测实测结果,读者可据此评估这套带溯源的 MCP 阅读方案。

  9. arXiv · cs.CL51

    扩散语言模型用于困惑度感知的黑盒攻击研究

    论文提出将连续潜空间黑盒攻击框架直接耦合到扩散语言模型(dLLM),去掉随机映射,生成更自然的攻击提示。在 RareTrap 采样估计和 ThinkTrap 优化搜索两种设置下,字符级困惑度分别从 10^3–10^7 降到 3–5、从 20–28 降到 4.3–5.4;两种映射得到的模型风险估计可相差一个数量级。