跳到正文
今天10月27日周二6 条
  1. GitHub · 灵魂体仓库54

    Columbia 团队发布 GRAFT++:用激活探针与局部训练抑制 LLM 智能体合谋

    Columbia AI Alignment Club 团队开源 GRAFT++ 完整仓库,含代码、运行日志、预注册与论文源,研究被监控时 LLM 卖家智能体的合谋行为。实验显示监控更多改变沟通而非价格,双拍卖中价格检查可标记全部卡特尔而消息监控漏检约五分之一,线性探针比文本监控更能发现隐蔽协调,GRAFT++ 基于探针做微调移除了更多隐蔽合谋但未达预注册的提升幅度。

  2. GitHub · 灵魂体仓库62

    JevPromptShield 发布:为 Claude Code 提供模型外提示词注入与危险命令防护

    JamesANZ 发布 JEV Shield,一个在模型之外检查提示词与 Bash 命令的防护工具,通过 Claude Code hooks 拦截提示词注入和破坏性命令,决策由 hook 进程而非模型作出。作者用 Gandalf 公开的 21 条提示词实测,仅孤立打分时拦截 6 条,填入密码上下文后拦截 17 条,三个普通问题均放行。项目含本地快速策略、OpenAI 兼容代理、MCP 扫描器及图片音频转写分析,Jev 评分依赖 TypeSafe key,官方定价为每百万输入 token $0.042。

    推荐理由:该项目把拦截决策放在模型之外,并用 Gandalf 公开提示词集实测了上下文对检出率的影响,方法可复用到自己的 Agent 防护里。

  3. GitHub · 灵魂体仓库60

    lambdasec 发布 Frame 安全扫描 Agent:静态分析加 LLM 推理找漏洞

    lambdasec 在 GitHub 开源 Frame,一个结合可靠静态分析与 LLM 推理的安全 Agent,用污点分析加分离逻辑与 Z3 证明漏洞可达,可选 LLM 层补充检测、验证并生成补丁。支持 Python、JavaScript/TypeScript、Java、C# 和 C/C++ 五种语言的跨文件污点追踪,内置 70+ 框架 pack,检测 80+ 漏洞类别。基准显示在 Endor Labs 语料上 recall 0.67、precision 0.51(Semgrep 为 0.52 / 0.40),LLM 层可运行本地 mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit 或托管 GLM-5.2,并提供 --changed 与 baseline 工作流用于 CI 门禁。

    推荐理由:把污点分析、分离逻辑证明与可选 LLM 层组合成一个安全 Agent,基准数据里也标出了输给对手的案例,可作选型参考。

  4. GitHub · 去对齐工具与仓库29

    oorona 开源 CVE Central:CVE 漏洞情报搜索与分析工具

    oorona 在 GitHub 发布 CVE Central,可搜索 NVD 漏洞记录(支持关键词与语义排序,结合 CISA KEV 和 FIRST EPSS 数据),管理多条件通知过滤器,并生成可保存的安全评估报告与后续对话。项目通过 HTTP API 供外部应用获取筛选后的通知与报告,并提供可选的 MCP 适配器供智能体调用;技术栈包括 Next.js、FastAPI、PostgreSQL(pgvector)与 Gemini 报告,支持 Docker Compose 部署。

  5. GitHub · 灵魂体仓库73

    mcp-doctor:为 MCP 服务器与 AI 智能体工具提供评测和防护的开源工具

    vishalhabib99 在 GitHub 开源 mcp-doctor 0.35.0,对 MCP 服务器做静态扫描、模糊测试和实时调用防护,覆盖 Python、TypeScript、Go 和 Rust,可在 CI、pre-commit、Claude Code、Codex 和 Cursor 中运行。工具检测在 805 个真实服务器上找到 15,755/15,977 个工具,修复已合并进 ha-mcp、telegram-mcp(111 个工具一次 PR)等 58 个仓库共 61 项;guard 能识别写入未落地的假成功、schema 参数被忽略和提示词注入导致的密钥外泄,并给 PR 输出 SHIP / FIX-FIRST / BLOCK 结论。

    推荐理由:这个 MCP 服务器检查工具用真实服务器上的召回测量和上游合并修复来支撑结论,读者可以直接借用它 catching 假成功和提示词注入泄露的思路。

  6. GitHub · 灵魂体仓库62

    mcp-doctor:毫秒级审计 MCP server 与 AI agent 工具清单的开源工具

    Ranjith Rosan 发布开源工具 mcp-doctor,可在毫秒级审计 MCP server 或 AI agent 工具清单,在上线前发现不安全工具、损坏 schema 和 token 膨胀问题。工具通过纯 ast.parse 静态检查 Python MCP server(FastMCP、官方 mcp SDK、@tool 装饰器)及 MCP tools/list、OpenAI、Anthropic JSON 清单,不执行不可信代码,Python 3.11+ 零外部运行时依赖。

    推荐理由:审计工具覆盖 shell 注入、SSRF、路径穿越和 token 开销四类问题,规则表和示例报告齐全,部署 MCP server 前可直接复用。

10月26日周一
  1. GitHub · 灵魂体仓库59

    agora 开源重复市场中 LLM Agent 合谋评测基准,含六个场景与合谋指数

    GitHub 项目 agora 发布了一个自包含的 LLM Agent 合谋评测基准,覆盖价格战、拍卖、供应链、电网储能、网约车和 GSP 广告竞拍六个重复市场场景,致敬 Terrarium 与 Colosseum 团队的前期工作且不依赖二者。

    推荐理由:该框架为六个市场场景给出解析式的竞争与合谋基准,合谋指数归一化,便于横向比较不同模型的合谋倾向。

  2. GitHub · 灵魂体仓库57

    ai-watermark-scrambler 仓库发布可移除 AI 水印与元数据的 agent skill

    novatechflow 在 GitHub 发布 ai-watermark-scrambler,一个用于打乱统计文本水印(green-list、SynthID-Text、Claude 内嵌文本水印等)并清除隐写 Unicode 与 C2PA/EXIF/XMP 元数据的 agent skill。改写可削弱但无法证明消除统计水印,像素、音视频及可见水印不在处理范围;支持 Claude Code、Cursor 等通过 SKILL.md 加载,Apache License 2.0。

    推荐理由:README 讲清了统计水印的原理与改写为何能削弱信号,并给出各通道的可移除范围和残留风险表,便于评估工具边界。

  3. GitHub · 灵魂体仓库50

    Geloos/llm_benchmark:基于真实 MITRE ATT&CK 攻击日志的 LLM 提示词注入评测仓库

    GitHub 仓库 Geloos/llm_benchmark 将越狱提示词注入真实 MITRE ATT&CK 攻击日志,让本地 LLM(通过 Ollama 运行 gpt-oss:20b、llama3.1:8b、gemma3:12b)判断日志是攻击还是正常流量,以此计算攻击成功率(ASR)。每条日志都是真实攻击,模型给出"正常"判定即代表注入生效。实验含 plain、hex、--dovsdofs、--ob 四类,每轮用 5 个 seed(42–46)重复,比较低/中两档温度下的平均 ASR 与 95% 区间,plain 实验使用 10 个类别的 47 种注入。

  4. GitHub · 灵魂体仓库72

    keyroll 开源:一键查找并轮换本机所有 AI 供应商 API key 副本

    Blackman99 发布 keyroll(https://github.com/Blackman99/keyroll),离线扫描本机 Claude Code、Codex、OpenCode、shell 配置、.env 及备份中的所有 API key 副本,并通过各 issuer 的免费只读端点检查 key 是否仍有效(ALIVE/REJECTED)。keyroll rotate 只需粘贴一次新 key 即可重写所有生效副本并清除遗留副本,keyroll ci 可列出 GitHub Actions 中疑似供应商 key 的 secret 名称;工具只显示指纹和密钥末四位,绝不读取或输出密钥值,单一 Go 静态二进制、无第三方依赖。

    推荐理由:作者完整公开了工具的扫描范围、检查与轮换流程和不读密钥值的安全设计,读者可以据此评估是否把它用于管理本机散落的 API key 副本。

  5. GitHub · 灵魂体仓库23

    Cal Poly SLO 开源 CANARY:面向工具调用 LLM Agent 的提示词注入测量与隔离评估框架

    Cal Poly SLO CS + AI Club 在 GitHub 开源 CANARY,一个用于测量和隔离工具调用 LLM Agent 中间接提示词注入的受控评估项目。它将“模型提出的不安全行为”与“系统实际允许的效果”分开记录,并量化每种防护措施对正常任务的代价。实验仅使用本地虚构 fixture 和 fake sink,无网络外发;开发模型为 claude-haiku-5-5,备选 gpt-6-luna,防护方案包括 D1_POLICY_GATE 和 D2_DATAMARKING。

  6. GitHub · 灵魂体仓库43

    Verdis 开源:在人类读取前自动复现安全报告的分诊工具

    开源工具 Verdis 在安全报告被人工读取前先自动复现问题:按报告声称的版本构建项目,在无网络的 rootless 沙箱中运行 proof of concept,并返回判定结果和带哈希的证据包。它以 Python CLI 和 GitHub Action 形式发布,需 Python 3.12+ 及 Podman 或 Docker,支持 C/C++(ASan/UBSan)、Go、Node 和 Python 构建。模型只起草运行计划,判定由 oracle 决定,最终决定权留给维护者。

  7. GitHub · 灵魂体仓库47

    solve-ai-ctf:AI 驱动的 CTF 全流程自动解题工作台开源

    GitHub 上的 solve-ai-ctf 是一个 AI 驱动的 CTF 解题工作台,覆盖分诊、假设、有界执行、验证、提交、复盘全流程留痕。项目用纯 Python 标准库实现、零 pip 依赖,内置本地 Web 工作台、Docker 沙箱执行、Flag 自动识别与抢一血式自动提交,支持 misc/crypto/pwn/web/reverse/forensics/ai 七类题型,附 24 份知识库参考文档,仅限授权的 CTF 比赛与安全研究使用。

10月25日周日
  1. GitHub · 灵魂体仓库28

    Sentinel:面向自有代码的防御性安全扫描工具(LLM 编码插件)

    GitHub 开源项目 Sentinel 是一个为 LLM 编码工具打造的防御性安全扫描插件,提供 MCP server 和独立 CLI,含 335 个测试,MIT 协议发布。当前版本尚无漏洞检测层,只能做仓库画像(语言、框架、授权面等)并从 2 个 pack、13 条技术的注册表中筛选适用技术,输出 markdown 与 SARIF 2.1.0 报告,且每份报告都明确声明哪些代码未被检查。工具强制范围与授权校验:仅扫描本地或你有权访问的 GitHub 仓库,只读不写入,需逐目标输入确认;项目还公开了自身 105 个待修复问题的 backlog,下一步将开发检测层。

  2. GitHub · 3D 生成新仓库26

    GERMLINE 开源项目:为 AI 代码重写提供安全免疫继承验证

    开源项目 GERMLINE 上线 pre-alpha 版本,将已修复的公开漏洞转化为可复现的回归测试“抗体”,用于检测 AI 重写代码是否继承了前代的安全修复。其语料库含 100 个抗体,覆盖 libxml2、ffmpeg、imagemagick 等 17 个关键项目、15 种崩溃类型,目前 3/100 已在 CI 中端到端验证,98 个待复核。项目还提供 CI/CD 的 Immune Gate、签名 Immune Passport 及开放交换格式 ABX(RFC-0),代码采用 Apache-2.0、数据采用 CC-BY-4.0 许可。

  3. GitHub · 灵魂体仓库60

    data-leak-guard 开源防止印度个人敏感数据泄露进大语言模型的代理

    AyushAditya444 发布 data-leak-guard,一个 OpenAI 兼容的 drop-in 代理,拦截 Aadhaar、PAN、手机号、UPI ID、银行账号、IFSC、地址、姓名和 API 密钥等敏感信息,在请求发给 LLM 前掩码替换、收到回复后还原,应用只需改一行 base_url 即可接入,项目处于 7 个阶段的第 5 阶段。在 1600 条合成消息的 held-out 测试集上整体 F1 为 94.4%,负样本误报率 1.4%;规则检测延迟 p50 0.175 ms,加 CPU 上的 ONNX 人名模型后 p50 17.340 ms。

    推荐理由:项目给出了1600条held-out测试集的分类型精确率召回率和延迟数据,读者可据此评估这套脱敏代理的可靠程度。

  4. GitHub · 灵魂体仓库49

    TrustRAG:可溯源、防幻觉与提示词注入的 PDF 问答 RAG 项目

    TrustRAG 是一个开源 RAG 项目,针对"chat with your PDF"工具的幻觉、不可验证答案和文档内隐藏提示词注入问题,答案全部来自检索段落并逐条标注页码引用,用第二个模型对每条陈述做事实核查,并给出 🟢🟠🔴 信任分。在其自建的 5 份政策文档、71 个问题的评测中,检索 recall@4 达 100%、MRR 0.97,幻觉率 0%,30 个注入攻击 100% 被移除且无误删,每题平均耗时 6.6 s。技术栈采用 Claude Sonnet 5.5(回答)与 Claude Haiku 5.5(核查/OCR/扫描)、ChromaDB 与 all-MiniLM-L6-v2 本地嵌入,支持 Claude 订阅或 Anthropic API,并提供 Docker 部署。

10月24日周六
  1. GitHub · 去对齐工具与仓库24

    ari-ai:面向 HackATL 的自主软件工程与网络安全平台开源项目

    ari-ai 是为 HackATL 构建并计划发展为真实产品的自主软件工程与网络安全平台,核心是代码智能审查修复、七智能体安全团队和持续监控与 RL 防御三大支柱,共享一个版本感知的 Unified Intelligence Layer。后端 FastAPI、七安全智能体(Scout、Probe、Trace、Diagnose、Patch、Fortify、Verify)、代码智能与前端控制台已实现并通过测试,默认模型为 claude-haiku-5-5;基础设施部署尚未配置,RL 防御建议不会自动应用。

  2. GitHub · 灵魂体仓库65

    开源 Python 库 wardowl 2.0 发布,为 RAG 提供权限感知检索

    wardowl(2.0 前名为 needtoknow)是一个开源 Python 库,把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部,每次命中再复核并故障时关闭,保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回,pgvector 上 recall@10 保持 0.949 以上;百万 chunk 场景下中位延迟 3 到 21 ms,每秒最多可服务 126 次请求。

    推荐理由:项目给出基准数据说明在搜索内做权限过滤可保住召回率,对搭建企业内部 RAG 的团队是可参考的做法。

  3. GitHub · 去对齐工具与仓库22

    dahchenoor-cmd 开源 AI 红队测试作品集仓库:对抗性机器学习评估与防御实践

    dahchenoor-cmd 在 GitHub 发布 AI 红队测试作品集仓库,系统化整理对抗性机器学习评估、攻击 PoC 与防御缓解措施,覆盖本地及企业级 LLM 架构。仓库包含 10 个模块,从环境搭建到企业模拟审计,基于 Ollama、vLLM 运行 Llama-3、Mistral、Qwen 等开源模型,使用 garak、PyRIT 等工具,并对照 OWASP Top 10 for LLM Applications(2026)、MITRE ATLAS 与 NIST AI 100-2e2025 等标准。所有测试均在本地容器化环境中进行,数据全部为合成数据。

  4. GitHub · 灵魂体仓库38

    plc-guard:LLM 辅助检测与修复 PLC 代码(IEC 61131-3 Structured Text)安全漏洞

    GitHub 开源项目 plc-guard 用规则检查器加 LLM 检测和修复 IEC 61131-3 Structured Text PLC 代码中的安全漏洞。规则检查器在原始数据集上 F1 达 1.00,变量重命名后降至 0.71;NVIDIA Nemotron 3 Ultra 零样本检测在混淆数据集上保持 1.00 recall,但 F1 为 0.69 ± 0.05,误报较多。项目含 85 个离线测试、Streamlit UI、缓存回复保证可复现,计划扩展到 30+ 数据对并支持 Gemini 和 OpenRouter。

  5. GitHub · 去对齐工具与仓库31

    JavisBot-Service 开源 javis-transparency 仓库,持续审计 javis.bot 中转的 Claude / GPT 模型真伪

    JavisBot-Service 发布 javis-transparency 仓库,基于已发表研究持续审计 javis.bot 中转是否真的提供所宣传的 Claude / GPT 模型,防止量化、降级或掉包。审计代码在 GitHub 机器上运行,每 6 小时执行一次,结果由 github-actions[bot] 提交,页面由 GitHub Pages 生成;用户可用 temperature=0 的 curl 探针自行复现。该审计属概率性一致性检测,不能提供密码学级证明。

  6. GitHub · 去对齐工具与仓库51

    LLM-Security-Evaluation:基于 Groq API 的异步提示词注入与系统提示词泄露测试工具

    OmarAhmedTHE25th 在 GitHub 开源了 LLM-Security-Evaluation,一个通过 Groq API 评估提示词注入与系统提示词泄露抵御能力的异步对抗测试工具,命令形如 python main.py --model openai/gpt-oss-20b 或 --model llama-3.3-70b-versatile。测试类别映射 OWASP LLM Top 10(LLM01、LLM02、LLM06)与 MITRE ATLAS 技术(AML.T0051、AML.T0024、AML.T0046),覆盖注入、角色扮演指令覆盖、系统提示词与密钥泄露、检索文档隐藏指令及工具参数注入等。

  7. GitHub · 去对齐工具与仓库55

    CERBERUS 开源:基于 MITRE ATT&CK 审计本地 LLM 对抗提示风险的防御性评测框架

    PoisonXploIT 发布 CERBERUS,一个用于审计本地 LLM 在对抗性提示下有害输出风险的防御性评测框架,提示按 MITRE ATT&CK 结构化组织,帮助安全团队在内网部署无审查模型前评估风险。框架采用双层评分:先由确定性启发式打分,仅对 [0.3, 0.7) 的模糊区间调用可选的云端 LLM judge(默认 OpenRouter,可配 DeepSeek、OpenAI 等),并按 harm_final = max(启发式, judge) 保守合并。

    推荐理由:原文给出了基于 MITRE ATT&CK 的双层评分与被动评测流程,安全团队可在内网部署无审查模型前量化其有害输出风险。

  8. GitHub · 去对齐工具与仓库41

    SasanLabs 发布 LLMForge:OWASP VulnerableApp 的 AI/LLM 漏洞实验模块

    SasanLabs 发布 LLMForge,OWASP VulnerableApp 生态中专门用于 AI/LLM 漏洞练习的 FastAPI 应用,通过 Ollama 连接真实本地模型而非模拟响应。项目提供 5 个渐进式实验:提示词注入 10 关、间接提示词注入 4 关、BOLA 医疗聊天机器人 3 关、RAG 上下文投毒 3 关和 RAG 敏感数据暴露 4 关,映射至 OWASP LLM01/LLM04:2025 等标准。默认聊天模型为 phi3:mini,嵌入模型为 nomic-embed-text,经 nginx facade 挂载在 /llmforge 路径,采用 Apache 2.0 许可。

10月23日周五
  1. GitHub · 去对齐工具与仓库61

    TaintGate v0.1.0 开源:面向 LLM 智能体的信息流防火墙

    guru-bharadwaj20 发布 TaintGate v0.1.0,一个让标签随值流动、用确定性 Datalog 策略审查每次工具调用的 LLM 智能体信息流防火墙。受信任 planner 只见可信请求,不可信内容由无工具提取器转成带标签值,MCP 网关在副作用前询问策略引擎并输出可解释的 allow/deny 与带 Merkle 证明的审计日志。AgentDojo v1 对比在 Qwen2.5-0.5B-Instruct CPU 环境下完成 4,356 次评分运行,作者明确称其为下限而非胜利,因 0.5B 模型很少产生有效工具调用,对比未能区分各防御方案;策略检查中位开销 0.6 ms。

    推荐理由:作者把 AgentDojo 对比明确定位为下限而非胜利,并保留负面结果,可据此了解这套信息流防火墙的实际边界。

  2. GitHub · 灵魂体仓库37

    Kair12 开源 llm-safety-lab-garak:基于 Qwen2.5-0.5B-Instruct 与 NVIDIA garak 的 LLM 安全实验仓库

    GitHub 上的 AI 安全课程项目 llm-safety-lab-garak 提供 Web 应用、Telegram 演示和评测证据,对比 Qwen2.5-0.5B-Instruct 加与不加词法输入过滤的表现。评测显示 PromptInject 标记检出从过滤前 12/32 降到过滤后 0/32;但过滤在自定义数据集上拦截 8/24 攻击输入,也误拦 8/24 良性输入。仓库固定 NVIDIA garak 源码(commit 346497a)与模型修订 7ae5576,并声明 ChatGPT Codex 协助了原型与脚本工作。

  3. GitHub · 灵魂体仓库65

    ertugrulbagdat/llm-vuln-scanner 开源发布,自动测 LLM 系统抗 prompt injection 能力

    GitHub 开源项目 llm-vuln-scanner 发布,可对 LLM 系统(chatbot、agent、API 后端)自动发送数百个 prompt injection 和越狱攻击模板,分析回复并生成带 Dayanıklılık Skoru(鲁棒性评分)的分类漏洞报告。

    推荐理由:这个开源扫描器给出了带评分公式和分层判定的注入测试流程,还能拿它检验自己部署的模型对越狱的抵抗力。

  4. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  5. GitHub · 3D 生成新仓库56

    TrustLens 开源:AI 与 LLM 深度伪造检测及数字证据分析工具

    GitHub 新仓库 TrustLens 发布,用于 AI + LLM 深度伪造检测与数字证据分析,整合了 Facebook $1M Deepfake Detection Challenge 夺冠的 EfficientNet-B7 人脸交换检测器(numpy 重实现、不依赖 PyTorch,约 267 MB)、视觉 LLM 和十余项取证测试,可检测照片、视频、语音、截图、通知和活动海报。工具用英文和印地语输出证据说明,对照 VTOP 官方记录核查声明,提供 Ed25519 签名的 PDF 报告与哈希链保管日志,附带 Chrome 扩展和手机扫码使用。作者同时列出每项测试在真实数据上的实测表现与角色限制,如真实照片基线假阳性 0/4,并明确说明无法检测克隆语音等局限。

  6. GitHub · 去对齐工具与仓库45

    llm-guard-proxy:面向 OpenAI 兼容应用的本地优先安全代理

    GitHub 开源 llm-guard-proxy,一个本地优先的安全代理层,在流量到达客户端或模型前用可配置策略检查提示词与模型响应,兼容 OpenAI、Ollama、llama.cpp、vLLM 等 OpenAI 兼容后端。内置 secrets、prompt injection、regex 等确定性分类器,支持 YAML 策略与 4 个预置策略,可选通过 Ollama 运行 Llama Guard 3(llama-guard3:8b)。项目为实验性质,尚不适用于不可信的生产流量。

  7. GitHub · 去对齐工具与仓库45

    Jeevan2191999/jnvoy:面向 LLM 流量的隐私与安全网关

    开源项目 jnvoy 是一个面向 LLM 流量的隐私与安全网关,部署在应用与任意 LLM 之间,自动识别提示词中的个人数据并以 token 替换,回复返回后再还原真实值,同时拦截 prompt injection 并扫描 MCP 工具流量。它支持英国、美国、欧盟、中国居民身份证号等多地区身份标识识别,审计日志只记录发现内容不存原文;可选的二次检查在作者自建测试集上将召回率从 93% 提升到 100%,默认关闭。

  8. GitHub · 灵魂体仓库57

    pi-secret-scanner v0.2.4 发布:为 Pi 编码智能体拦截工具输出与请求中的密钥

    koopycat 发布 pi-secret-scanner v0.2.4,这是一个 Pi 编码智能体扩展,可检测工具输出和发往 LLM 请求中的凭证并在离开本机前替换为类型化占位符,如 [REDACTED:AWS_ACCESS_KEY_ID]。检测结合已知凭证格式规则与基于熵的未知密钥探测,熵检测默认开启,提供 redact、warn、confirm、off 四种模式,支持 .secret-scanner.json 或 Gitleaks 兼容白名单,要求 Pi 0.74.0 或更新版本,采用 MIT 许可。作者强调检测是启发式的,属于最后防线,不能替代避免把凭证写入提示词、文件、日志和 shell 输出。

    推荐理由:原文给出了该扩展的检测机制、四种模式和安全边界说明,读者可以直接评估它在本机防密钥泄露中的定位。

  9. GitHub · 去对齐工具与仓库67

    AgentShield 开源:面向自主 AI Agent 的低延迟安全网关与事件回放引擎

    YashJ2303 在 GitHub 开源 AgentShield,一个面向自主 AI Agent 的低延迟安全网关与事件回放引擎,可实时拦截并按声明式策略评估 Agent 工具调用、从遥测流中脱敏凭据与 PII,并提供离线事件回放以在部署新策略或模型前检测回归。评测显示对建模过的破坏性操作拦截率 100.0% [92.1, 100.0]%,对未建模主动攻击为 45.5% [21.3, 72.0]%(对比 blocklist 的 9.1%,置信区间重叠),90 个良性任务误拦截 0.0%,完整插桩工具调用开销中位数 +18.046 ms p50(独立策略检查约 4.6 ms p50);回放回归检测 recall 25/25、specificity 23/25、precision 25/27。

    推荐理由:作者给出了带置信区间的拦截率、误拦截率和延迟开销数据,并披露了模拟代理与未验证部分的局限,便于评估该网关的适用性。

  10. GitHub · 灵魂体仓库71

    landmines 开源:用 lockfile 匹配 GitHub 已知 bug,在编码 Agent 编辑前拦截

    devanshranjan10 发布开源工具 landmines,它读取项目 lockfile 中固定的精确版本,检索针对该版本的开放 GitHub issue 并生成索引,通过 pre-edit hook 或写入 AGENTS.md/CLAUDE.md 的已知 bug 段落让编码 Agent 在编辑前避开这些坑。基准测试中,Claude Sonnet 5.5 无辅助通过 72/84(86%),加入 landmine rules 段落后通过 83/84(99%);同批对比中 web search 开启为 36/42、Context7 docs MCP 为 35/42,且 84 个会话中 Agent 从未主动调用这两个工具。

    推荐理由:作者用 84 个 held-out 任务对比了规则段落、pre-edit hook 与 web search、Context7 的效果,基准局限也写得坦率,方法可参考。

10月22日周四
  1. GitHub · 3D 生成新仓库31

    Sentinel Governed Workflow Twin 开源:治理型智能体工作流参考实现

    Juan A. Martinez Diaz(BAI 创始人)发布开源参考实现 Sentinel Governed Workflow Twin,展示 AI 智能体“有能力”不等于“被授权”:通过授权注册表、确定性仲裁、HMAC 签名许可与证据账本执行受治理的工作流。项目内置 17 步合成金融服务工作流,24 项参考测试已于 2026 年 10 月 20 日在 CI 中通过;合成基准显示周期时间从 960 分钟降至 190 分钟、决策证据完整性从 45% 升至 100%。

  2. GitHub · 去对齐工具与仓库45

    AI Guardian Lab:在 AI 智能体执行 shell 命令前进行策略校验的开源工具

    AI Guardian Lab 在 AI 智能体执行 shell 命令前校验命令,智能体提议命令后由 Guardian 按 L1 allowlist、L2 模式、L3 意图和 L4 语义审查四层检查,默认仅模拟、不真实执行。1.6 版本提供 full profile,经 Ollama 启动本地小模型与 System One 观察者,System One 在 CPU PyTorch 2.13.0 上通过 shadow-only 验证,500 ms 预算仍不满足,full profile 采用 2 秒预算,强制执行在两种 profile 中均保持关闭。

  3. GitHub · 去对齐工具与仓库35

    FraudDistill:面向 LLM 欺诈协助响应检测的研究与实验框架开源

    GitHub 开源 FraudDistill 框架,用于检测大模型面对欺诈诱导时实际生成的回答是否构成欺诈协助,主张该属性是响应级且关系性的,需联合观察查询与回答。框架用 Multi-Agent Teacher 生成结构化信号,经 QLoRA 蒸馏出 1.5B 学生模型支持低成本本地推理,并通过 15% 查询率的选择性审计级联恢复召回,已在 Qwen、DeepSeek、GLM、Kimi 等 6 个直连目标模型上实测验证。

  4. GitHub · 灵魂体仓库65

    Split-View PDF 论文开源样本与验证代码,论文被 IEEE S&P 2027 接收

    Side Liu 和 Jiang Ming 的论文 What Users See Is Not What Models Read 被 IEEE S&P 2027 接收,仓库公开了配套样本与验证代码。内容包括 25 个最小提取差异 PDF(corpus_a)、25 个下游 LLM 评测 PDF 和 11 个 QA 适配 PDF,以及开源 PDF 解析器验证和 LLM API/Web 验证脚本,支持在 Ubuntu 上用 Python 3.10+ 和 Node.js 20.16+ 复现。

    推荐理由:论文配套仓库放出全部样本和验证代码,读者可以实际复现 PDF 对人和对模型显示内容不一致的攻击测试。