跳到正文
  1. GitHub · 灵魂体仓库57

    astrbot_plugin_reply_visible v0.1.0 发布:让 AstrBot 插件回复进入 AI 上下文

    作者发布 AstrBot 插件 astrbot_plugin_reply_visible v0.1.0,捕获群聊插件指令回复并在下一轮 AI 回复时临时注入,解决 AI 看不到 /签到、/购买 等插件回复的问题。已实现文本与图片卡片捕获、OCR 或视觉模型描述、按群隔离、去重、防提示词注入包装和 no_learn 防学习标注,兼容 AstrBot 4.29.x,采用 MIT 协议开源。

    推荐理由:作者讲清了插件捕获和注入上下文的具体机制,还给出防学习标注与内存队列等限制,方法可迁移到类似群聊 Agent 项目。

  2. arXiv · cs.CL52

    arXiv 论文:位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案,并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道,带错误理由的断言放在问题之前可把错误率从 1% 提到 67%,权威署名和肯定语气各提升 10-27 个百分点,而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由:论文把提示位置、信息来源和模型已有输出三个因素拆开比较,给出了可复现的错误率变化数字。

  3. GitHub · 灵魂体仓库62

    JevPromptShield 发布:为 Claude Code 提供模型外提示词注入与危险命令防护

    JamesANZ 发布 JEV Shield,一个在模型之外检查提示词与 Bash 命令的防护工具,通过 Claude Code hooks 拦截提示词注入和破坏性命令,决策由 hook 进程而非模型作出。作者用 Gandalf 公开的 21 条提示词实测,仅孤立打分时拦截 6 条,填入密码上下文后拦截 17 条,三个普通问题均放行。项目含本地快速策略、OpenAI 兼容代理、MCP 扫描器及图片音频转写分析,Jev 评分依赖 TypeSafe key,官方定价为每百万输入 token $0.042。

    推荐理由:该项目把拦截决策放在模型之外,并用 Gandalf 公开提示词集实测了上下文对检出率的影响,方法可复用到自己的 Agent 防护里。

  4. GitHub · 灵魂体仓库64

    Reddytheer 开源 judge-check:用数据验证 LLM 评审能否替代人工 QA

    作者开源了 judge-check 工具,用评分标准、人工标注集和 LLM 评审逐条判定每个 QA 准则是可自动化还是需人工复核,并输出带 prompt 哈希和数据集指纹的版本化验证报告。示例是合成数据的银行 AML 告警分诊,30 个案例 240 条标注,8 条准则中 3 条达标可自动化、5 条留人工;判定门槛包括 kappa≥0.80、Critical 准则假通过率≤2% 且注入攻击下零翻转。工具还内置针对评审模型本身的攻击探针(评审注入、权威伪装等),离线回放可免 API key 运行,完整带探针运行约 110 次评审调用。仓库地址 https://github.com/Reddytheer/judge-check ,MIT 许可。

    推荐理由:给出了量化自动化门槛、对 LLM 评审的注入攻击探针和逐条判定的验证证据,方法可直接迁移到受监管场景的 Agent QA。

  5. arXiv · cs.AI58

    CoSA 论文提出 LLM Agent 技能冲突攻击,新增 5% 技能使违规率升至 58.45%

    论文提出 Conflict of Skills Attack(CoSA),在不改动现有 Skills 和运行时权限的情况下,向 Agent 技能池注入少量新 Skills 即可放大策略违规。CoSA-Bench 覆盖招聘、金融、IT 和商业共 288 个任务,在五个 LLM 和三种 agent harness 上,新增技能不超过原池 5% 就把违规率从 35.02% 提高到 58.45%。作者还开发了在关键动作前检查信息流与授权的 harness 级防护,在 OpenClaw 招聘任务上把违规率从 65.28% 降到 6.67%,正常任务完成率基本不变。

    推荐理由:论文给出技能组合导致违规的四种机制和可复用的 harness 级防护方法,对 Agent 生态安全设计有参考价值。

  6. GitHub · 灵魂体仓库73

    mcp-doctor:为 MCP 服务器与 AI 智能体工具提供评测和防护的开源工具

    vishalhabib99 在 GitHub 开源 mcp-doctor 0.35.0,对 MCP 服务器做静态扫描、模糊测试和实时调用防护,覆盖 Python、TypeScript、Go 和 Rust,可在 CI、pre-commit、Claude Code、Codex 和 Cursor 中运行。工具检测在 805 个真实服务器上找到 15,755/15,977 个工具,修复已合并进 ha-mcp、telegram-mcp(111 个工具一次 PR)等 58 个仓库共 61 项;guard 能识别写入未落地的假成功、schema 参数被忽略和提示词注入导致的密钥外泄,并给 PR 输出 SHIP / FIX-FIRST / BLOCK 结论。

    推荐理由:这个 MCP 服务器检查工具用真实服务器上的召回测量和上游合并修复来支撑结论,读者可以直接借用它 catching 假成功和提示词注入泄露的思路。

  7. GitHub · 灵魂体仓库62

    mcp-doctor:毫秒级审计 MCP server 与 AI agent 工具清单的开源工具

    Ranjith Rosan 发布开源工具 mcp-doctor,可在毫秒级审计 MCP server 或 AI agent 工具清单,在上线前发现不安全工具、损坏 schema 和 token 膨胀问题。工具通过纯 ast.parse 静态检查 Python MCP server(FastMCP、官方 mcp SDK、@tool 装饰器)及 MCP tools/list、OpenAI、Anthropic JSON 清单,不执行不可信代码,Python 3.11+ 零外部运行时依赖。

    推荐理由:审计工具覆盖 shell 注入、SSRF、路径穿越和 token 开销四类问题,规则表和示例报告齐全,部署 MCP server 前可直接复用。

  1. GitHub · 去对齐工具与仓库64

    PromptScript 开源发布:一份 AI 规则源文件编译出 50 个编码工具的原生配置

    mrwogu 在 GitHub 发布开源编译器 PromptScript(MIT 协议),用 .prs 源文件统一定义指令、技能、agents、MCP 服务器、hooks 和策略,编译为 Claude Code 的 CLAUDE.md、GitHub Copilot、Cursor 等 50 个编码 agent 目标的原生文件。支持 @inherit/@use/@override 分层继承与确定性合并,内置 prs validate 安全扫描可解码 hex、Base64 等编码并检测提示词注入(PS005、PS012 等规则),远程依赖通过 promptscript.lock 固定以保证可复现构建,并提供 prs migrate 从现有 CLAUDE.md 等文件迁移。

    推荐理由:原文给出了编译流程、50 个目标平台和安全扫描的具体规则清单,读者可以评估能否用一份源文件替代多份易漂移的指令文件。

  2. GitHub · 去对齐工具与仓库55

    RegLens 开源:面向信用社员工的监管合规 Copilot 与幻觉评测

    NYU 的 Sai Akhilesh Vangala 开源了 RegLens,一个基于联邦消费银行法规的信用社客服 Copilot,语料为 2026-10-02 固定版 eCFR,含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议,确定性代码把关:引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单,未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0,单题成本 $0.0013;检索实测发现混合检索(BM25+dense RRF)反而低于纯稠密检索,引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47,项目以 MIT 许可发布。

    推荐理由:作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置,检索与幻觉数据齐全,可作 RAG 验证设计的参照。

  1. GitHub · 去对齐工具与仓库63

    MCP Gateway:用 9-17 个元工具替代上百个 MCP 工具定义的 Rust 网关

    Mikko Parkkola 发布 MCP Gateway,一个单二进制 Rust 网关,把 MCP 服务器和 REST API 聚合在 9-17 个元工具的紧凑表面之后,通过 gateway_search_tools 和 gateway_invoke 按需发现并调用后端工具。每个 MCP 工具定义约耗 150 token,20 个服务器 100 个工具约 15,000 token;实测中元路径完成任务反而多用 1.2-16.1% 输入 token 并多一轮,价值在于目录容量、策略与路由。支持约 8ms 热重载、工具投毒校验、SHA-256 能力固定、多租户身份传播和 A2A 适配,内置 110+ 能力,采用 PolyForm Noncommercial 1.0.0 许可,商用需授权。

    推荐理由:README 附带实测基准,说明网关省下的是目录容量而非完成任务时的 token,读者可据此判断是否值得引入。

  2. arXiv · cs.AI55

    研究评测五个 LLM 对虚假信息的抵抗:口头判断与实际行为脱节

    arXiv 论文(arXiv:2610.33962)评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为,发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点,说明可信度引导本身改变了被评测的行为;简单预警在五个模型中的四个显著减少有害执行,但也会损害合法任务完成,基于生成虚假通知的微调保护则随模型和协议不同而有差异。

    推荐理由:论文用 196 条虚假通知与 204 条真实攻击测试五个模型,指出可信度评估本身会改变模型行为,评测协议设计值得关注。

  3. GitHub · 灵魂体仓库68

    ClaimCheck 发布本地优先的 LLM 假名化网关

    saasclawai-org 在 GitHub 发布 ClaimCheck,一个本地优先的 LLM 假名化网关,单个自包含二进制提供两种模式:MCP server 供 Cline、Cursor 等客户端调用 read_sanitized 等工具,LLM proxy 对 OpenAI 兼容请求在线路层脱敏、响应时还原。占位符如 [FEIN_1]、[SSN_2] 稳定可逆,映射 vault 只存本机;内置 regex 识别器覆盖 SSN、信用卡、API 密钥、PEM 私钥等,可选本地 BERT ONNX NER 层捕捉自由文本人名组织名。作者明确说明局限:不覆盖 PDF/DOCX 等二进制格式和非英文文本,vault 未加密,MIT 许可下无任何担保。

    推荐理由:原文给出了假名化工具的两种工作模式、可识别的 PII 类型清单和明确不覆盖的范围,便于评估是否适合本地脱敏工作流。

  4. GitHub · 灵魂体仓库59

    AgentShield 开源发布 v0.1.0:面向 LLM 应用与 AI Agent 的行为安全测试工具

    TroubieD3v 在 GitHub 开源发布 AgentShield v0.1.0,一个测试 LLM 应用、AI Agent、RAG 系统和工具调用安全性的工具,关注 Agent 实际做了什么而非回答文本是否可疑。包含 12 个模块、46 个场景定义扩展为 60 个可执行用例、12 类攻击(含直接与间接提示词注入、工具滥用、内存投毒、跨租户 RAG 泄露),映射 OWASP LLM 与 Agentic Top 10。

    推荐理由:面向 Agent 的安全测试不只看文本回答,而是核对工具调用与实际行为,46 个场景映射 OWASP LLM Top 10,方法可迁移到自己的 Agent 测试。

  1. GitHub · 灵魂体仓库56

    sundi133 开源 llm-shield AI 护栏平台,内置 19 条 guardrails

    sundi133 在 GitHub 发布开源的 llm-shield,一个部署在应用与 LLM 之间的 AI guardrails 平台,内置 19 条覆盖输入安全、输出质量和 Agent 安全的护栏,采用 CPU 快速护栏先行、LLM 护栏按需运行的两级并行流水线。支持基于 Redis 的多租户护栏策略与限流配额,提供基于角色的工具授权、MCP 工具校验、跨工具数据污点追踪、目标漂移检测和工具 kill switch 等能力,可用内置 Qwen3-8B 后端跑在 RunPod,或作为网关代理任意 OpenAI 兼容 API,并附 NIST AI RMF / OWASP LLM / ISO 42001 合规映射文档,MIT 许可。

    推荐理由:开源 AI guardrails 平台,19 条护栏分两级流水线,覆盖多租户策略、工具授权、数据污点追踪和目标漂移检测,可按清单对照自己的 Agent 安全需求。

  2. GitHub · 灵魂体仓库59

    新加坡国立大学开源 trace-and-gate:邮件 Agent 间接提示词注入防御对比实验

    新加坡国立大学 ESP3201A 课程项目 trace-and-gate 在 GitHub 开源,针对能收发邮件的 LLM 邮件助手,对比溯源追踪与策略检查两类防御对抗间接提示词注入的效果。Qwen3-8B 本地实测中,无防御基线攻击成功率 33.0%,Dual-LLM 为 2.1%,溯源追踪 D1 为 0%,策略检查 D2 为 1.0%,D1h 在套件 v2 复测中攻击成功率 0% 且正常任务完成率与基线持平(87.5%)。项目含 Docker 沙箱环境、LLMail-Inject 真实攻击采样与 AgentDojo 桥接,第 10 周将加入冻结防御后编写的 held-out 攻击集。

    推荐理由:项目给出了五种防御配置的攻击成功率与正常任务完成率对照数据,可用来比较溯源追踪与策略检查这两类防注入思路的代价。

  3. GitHub · 灵魂体仓库65

    开源 Python 库 wardowl 2.0 发布,为 RAG 提供权限感知检索

    wardowl(2.0 前名为 needtoknow)是一个开源 Python 库,把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部,每次命中再复核并故障时关闭,保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回,pgvector 上 recall@10 保持 0.949 以上;百万 chunk 场景下中位延迟 3 到 21 ms,每秒最多可服务 126 次请求。

    推荐理由:项目给出基准数据说明在搜索内做权限过滤可保住召回率,对搭建企业内部 RAG 的团队是可参考的做法。

  4. GitHub · 去对齐工具与仓库62

    Warden 发布:拦截 MCP 工具调用的 Mac 安全网关

    dbalchunas2-pixel 发布 Warden,一个原生 Mac 应用,作为 MCP 客户端(Claude Desktop、Claude Code、Cursor、Windsurf、Cline)与 MCP 服务器之间的安全网关,拦截每个工具调用并决定是否执行。决策管线含正则规则引擎(<10ms)、NVIDIA Nemotron LLM 分类(经 Nebius Token Factory)、启发式回退与熔断器,全部 fail-closed,并记录 JSONL 审计日志。内置对抗评测(seed 1337,22 次攻击+6 个良性对照)显示攻击检出率 100%、误报 0%、平均判定延迟约 3.5s;洪泛测试 30/30 拦截且仅 3 次调用消耗 LLM 预算。

    推荐理由:原文给出完整决策管线和可复现的对抗评测数据,包括100%攻击检出率、0%误报和约3.5秒平均延迟,便于评估其实际拦截能力。

  5. GitHub · 去对齐工具与仓库56

    onmcp:以模型视角检查 MCP server 的开源工具发布

    dgesteves 发布开源工具 onmcp,按模型阅读方式检查 MCP server 的 tools、prompts 和 resources 列表,捕获无法解析的名称、模型填不出的 schema、需猜测的参数及隐藏指令文本,并给出修复建议。支持通过 stdio 或 HTTP 检查服务器,也可检查保存的 tools/list 文件;内置约 20 条规则(如 hidden-characters、injection-phrases、description-budget),输出 pretty/json/sarif/github 四种格式供 CI 使用,示例检查出 poisoned-server.json 中藏在 Unicode tag 字符里的指令。

    推荐理由:作者开源了自己写的 MCP server 检查工具,规则表覆盖隐藏字符、注入语句和 schema 缺陷等模型视角问题,并给出修复建议。

  6. Reddit · r/LocalLLaMA58

    Reddit 用户取证量化模型推理链幻觉:海盗分金谜题、虚构注入与幽灵系统提示词

    Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中,推理链出现三类凭空编造内容:海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词,而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证,提出判别方法:在全部历史中检索可疑文本的首次出现位置,若首现于助手输出即为模型虚构,若首现于工具或抓取内容才是真实注入;并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。

    推荐理由:作者用持久化 SQLite 历史做取证,给出区分量化幻觉与真实注入的可复用判别方法,附完整排查提示词。

  1. GitHub · 去对齐工具与仓库61

    TaintGate v0.1.0 开源:面向 LLM 智能体的信息流防火墙

    guru-bharadwaj20 发布 TaintGate v0.1.0,一个让标签随值流动、用确定性 Datalog 策略审查每次工具调用的 LLM 智能体信息流防火墙。受信任 planner 只见可信请求,不可信内容由无工具提取器转成带标签值,MCP 网关在副作用前询问策略引擎并输出可解释的 allow/deny 与带 Merkle 证明的审计日志。AgentDojo v1 对比在 Qwen2.5-0.5B-Instruct CPU 环境下完成 4,356 次评分运行,作者明确称其为下限而非胜利,因 0.5B 模型很少产生有效工具调用,对比未能区分各防御方案;策略检查中位开销 0.6 ms。

    推荐理由:作者把 AgentDojo 对比明确定位为下限而非胜利,并保留负面结果,可据此了解这套信息流防火墙的实际边界。