内容形态
模型越狱与提示词注入、Agent 攻防、AI 犯罪和防护进展；区分研究演示、厂商披露与真实案件。
372 条精选近 30 天 365 条共收录 1,330 条
Elysia0126 在 GitHub 开源了 AI Course Assistant，一个全栈 RAG 学习应用，支持上传课件 PDF、PPT、Word 与笔记后进行带页码级引用的流式问答、自动判分测验和基于 SM-2 间隔重复的闪卡复习。技术栈为 FastAPI + PostgreSQL/pgvector + Next.js，混合检索（HNSW 向量 + BM25 + RRF 融合）在 33 题人工标注评测集上达到 Recall@5 1.00、MRR 0.92，并修复了 Postgres ts_rank_cd 缺少 IDF 导致的排序缺陷（关键词 Recall@1 从 0.64 提升至 0.86）。
推荐理由：作者开源了一个完整 RAG 学习应用并附上 33 题检索评测数据，混合检索与安全实现细节可直接借鉴到类似项目。
Teng-Ruei Chen 在 arXiv 发表论文，测量 LLM 路由器的路由选择日志如何在内容日志关闭时泄露敏感话题。基于 WildChat-1M 和 LMSYS-Chat-1M 共 170 万条真实请求的预注册研究，RouteLLM 在 50% 工作点下骚扰与自残请求被路由到强模型的比例低 19 个百分点，20 次路由决策区分频繁医疗提问者的 AUC 为 0.71；长度匹配的按类别 parity 可消除差距且在 RouterBench 上最多损失 0.2 个准确率点，而每会话 stickiness、每用户预算区间等方法失效。
推荐理由：论文用预注册实验量化了 LLM 路由日志泄露敏感话题的程度，并测试了 defenses 的代价与失效方式。
arXiv 论文（2610.10049，被 IEEE CogMI 2026 接收）用 30 个情境、6 种偏差和 0/1024/4096/8192 token 思考上限在 4 个模型家族做了剂量反应研究，共 12,350 次 API 调用。结果发现推理模型并不比匹配的非推理模型更少偏差，偏差幅度也不随实际消耗的推理 token 增加而可靠下降；锚定是唯一沿人类方向的偏差（d = 1.89），其余偏差多反向；一条让模型先复述锚点的简单指令降低了全部锚定题目的偏差。作者据此主张不应把测试时推理当作理性保证，应对部署模型逐项审计偏差。
推荐理由：研究用 12,350 次 API 调用检验推理预算与决策偏差的关系，结论可迁移到对部署模型的偏差审计思路上。
论文发布 PatchBench，指出安全补丁可能通过基准测试却压制无关行为，提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例，为每个有害源提示生成有害变体与两类良性邻居提示；对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收，地址 https://arxiv.org/abs/2610.10276v1。
推荐理由：提出用局部邻居提示区分选择性修复与局部压制的评测协议，可迁移到越狱修复方法的对比评估中。
smartsequence 发布 shadow-ai-scan，一个单文件 Python 工具，扫描 repo 找出未登记的 AI 调用并按高、中、低三级给出处置对象。它通过代码中的 SDK 引用、设置文件里的 AI 服务网址和 sk-proj- 等固定前缀的金钥样式三处痕迹检测，不用安装依赖、离线运行，支持六种语言界面，可接 CI 拦截新增高风险提交；作者同时说明它是关键字比对而非深度分析，自封装调用和运行时才确定的套件名等四类情况扫不到。
推荐理由：工具把检测思路、三级处置分流和自身盲区都写清楚了，读者可据此评估关键字扫描这类影子 AI 盘点方法的适用边界。
Digital Foundry Solutions 开源了 actualis，一个本地只读工具，扫描 Claude Code、Codex、GitHub Copilot CLI 的会话记录，输出成本、shell 审计、凭据暴露和缓存效率报告，无需联网。工具按 message id 去重计费消息，实测修正 2.13 倍的成本虚高；凭据事故按邻近度分级重建，把 7,553 条命令缩减到 42 条值得阅读。提供 --self-check 自验证隐私声明、CI 退出码门禁、MCP server 与托盘应用，AGPL-3.0 协议。
推荐理由：工具用去重后的消息计数和按邻近度分级的事故重建来压缩审计噪声，官方仓库详细写明了计算口径与验证方式。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
rebornace 在 GitHub 开源了团队 AI 助手运行时 Baize，可将 OpenAPI / Swagger 等 API 文档转为可调用工具，重要写入操作支持控制台人工确认并留痕。其决策层在 390 个工具、3 个后端的 37 条真实请求上测试，默认宽度 16 时平均 turn-0 提示词约 3,090 tokens，比发送全量 390 工具的约 85k 大幅降低，5 轮重复测试运行成功率 99.5%；工具路由默认关闭，可通过运行时设置热加载开启，MIT 许可证。
推荐理由：原文给出可复现的工具路由基准数据，读者可据此评估这套助手运行时在多工具场景下的成本收益。
GitHub 项目 LLMInjection 发布，定位为面向 AI、LLM 和智能体系统的开放威胁情报库，收录 8 个威胁行为者、10 个攻击活动、28 项技术、40 个安全测试用例、45 条检测规范和 32 个防御控制，每条记录附来源分级与验证日期。技术映射到 MITRE ATLAS、OWASP、NIST、Google SAIF 和 CSA MAESTRO，2026-10-07 更新新增 7 项基于 ATLAS 2026.09 的技术，ATLAS 覆盖从 52% 升至 78%，并附 DUSTMAKER 窃密链与 Semantic Kernel CVE-2026-26030 提示词注入转代码执行两条攻击链的防守方手册。
推荐理由：这个 AI 威胁情报仓库把每条技术都标注证据等级并联动测试、检测与控制，2026-10-07 更新将 ATLAS 覆盖从 52% 提到 78%。
Ali Zahid Raja 开源了 ISNAD，一个面向 RAG 和多智能体系统的 LLM 溯源与审计工具（pip install isnad，Apache-2.0），为每条声明记录完整传递链并按最弱环节给出可验证信任等级，附 SHA-256 防篡改审计记录，映射 EU AI Act、ISO/IEC 42001、NIST AI RMF 和 SDAIA。框架借鉴定型十四个世纪的圣训传人学（isnād–rijāl），在 575,060 条圣训链上按规则惯例测得链级判定 Cohen's κ = 0.8714；在 RAGTruth 上组合的内容评审器达到 96.0% 幻觉召回、60.4% 精确率，作者同时如实列出内容评审召回不足、置信度门控无效等局限。
推荐理由：原文不仅介绍框架还列出各组件的实测状态与已知局限，读者可以按需评估其在自己 RAG 管线中的可用程度。
tBeltty 在 GitHub 发布 auditor-executor-protocol，这是一个用 Auditor 和 Executor 两个隔离角色运行多阶段 AI Agent 工作的协议，Auditor 定义完成标准并独立重跑验证命令，Executor 逐任务实现并粘贴原始命令输出，以防止无声计划漂移和以 all tests pass 伪装验证。协议依赖四份文档留痕（plan-of-record.md、execution-guide.md、compliance-log.md、annexes/）和强制负面控制，即安全检查必须在移除防护后看到测试失败才算验证。
推荐理由：原文完整给出了审计者/执行者双角色协议的设计细节与 auditkit 命令用法，读者可以照此把验证流程接入自己的 Agent 工作流。
ExileAI 发布 model-audit（前身为 gguf-audit），一个针对 abliterated 模型产物的供应链审计工具，目前支持 GGUF 文件。工具提供 CLI 扫描、逐张量 SHA-256 指纹基线、与 Hugging Face 仓库哈希交叉核对及批量审计，并为非技术用户生成通俗 HTML 报告；可检出恶意聊天模板、隐藏指令、标签不匹配、缺少来源信息和附带可执行文件等问题。作者明确说明哈希只证明一致性而非安全，最可靠方式仍是从可信来源自行量化；路线图包括 safetensors 支持、统计化逐张量剖析和针对 abliteration 修改位点（ffn_down/ffn_out/attn_o）的基线差异定位。MIT 许可。
推荐理由：面向非技术用户解释了 abliterated 模型文件的供应链审计思路，明确了哈希能验证什么、不能证明什么，方法可直接复用。
WaiperOK 在 GitHub 发布 burp-agent-mcp，一个位于 LLM agent 与 Burp Suite 之间的 MCP 网关，用于授权安全测试。网关在代码层而非提示词层强制范围、环境、模式和限速，配 31 个分三组的工具、哈希链审计日志与密钥脱敏，扫描结果仅作候选供人工复核，附 AgentFindings Burp 扩展和 154 个测试。
推荐理由：原文完整给出了网关在代码层强制范围、环境、限速与审计日志的实现方式，读者可以直接复用这套让模型安全驱动 Burp 测试的架构。
作者为自己找工作开发并开源了求职 Agent，可在招聘网站搜索职位、用 LLM 按 1-10 打分匹配度、自动填表并记录到表格，已在 LinkedIn Easy Apply 和 Computrabajo 实际投递。工作流为先跑标题关键词过滤再调 LLM，表单回答优先用固定规则和历史缓存，缺失必填项时标记人工处理而非猜测；通过 Claude Code CLI 调用 Claude 且禁用工具，并设置了每日限额和 1.5 至 4 分钟间隔模拟人工节奏。作者提示恶意表单存在提示词注入风险，项目仍在开发中，roadmap 包括提示词注入防御、ATS 友好简历生成器等。
推荐理由：作者公开了自己求职 Agent 的完整工作流和代码，表单填写防幻觉与提示词注入风险的说明可以直接借鉴。
CharmingSteve 在 GitHub 开源 LLM Provost，一个部署在 MCP 服务器和上游模型 API 之前的治理代理与审计账本，支持策略热加载、四层身份审计和本地/主权化部署。它提供工具调用放行与拦截、限速、token 上限、时间访问控制和 PII 过滤，导入 Agent Provost 的 Alpaca 交易控制规则，兼容 OpenWire、Ollama、vLLM 和 Amazon Bedrock 等后端，采用 AGPL-3.0 许可并提供 Docker Compose 与 AWS Marketplace AMI 部署方式。
推荐理由：原文详细给出了双代理边界、四层身份审计和可编程策略模型，读者可以据此评估在自己的环境里落地 LLM 治理代理。
sloweyyy 在 GitHub 开源了 scriptorium，一个接入 Slack、Jira、Confluence 和 GitHub 的 AI 协作队友，核心卖点是每条回答都有可溯源引用、每次写入需指定人员签名单次审批，且审计日志采用哈希链防篡改。项目用代码而非提示词强制执行安全规则，237 条护栏各有变异测试必须被捕获，支持 Anthropic API、Vertex 上的 Claude 或 Gemini，单容器部署无需数据库。
推荐理由：这个开源 AI 协作队友把审批、引用和审计都落在代码里，配套的变异测试设计对做 Agent 安全工程的人有直接参考价值。
jdsouza1 在 GitHub 发布 Omni-IR v0.9，这是一个行式流协议，让模型用扁平的文本行描述界面，由可信客户端流式解析并用自家组件渲染，模型不写 HTML、CSS 或代码。协议提供 React、SwiftUI 和 Jetpack Compose 三套渲染器，通过同一套 98 例一致性测试；在 Claude.ai 九个测试屏上，Omni-IR 比 A2UI 省 39% token、比 -render 省 55%，首屏内容约 30–40 token 后即可绘制；所有改变后端的按钮必须由 McmMutation 命名应用注册的允许工具才可点击，服务器端会再次校验。
推荐理由：原文给出了 Omni-IR 与 A2UI、OpenUI 等格式的 token 用量、首屏延迟和安全机制对比，读者可以评估这种流式生成式 UI 协议是否适合接入自己的应用。
Sereno 是一个 GitHub 仓库，研究 prompt injection 与持久记忆中毒如何影响长时程任务的编码 Agent，并构建 harness 层让 Agent 在攻击下仍能可靠完成任务。实验基于 DeepSWE 任务运行，每个 session 对应一个完整任务，通过 /memories 目录跨任务携带记忆；sereno context-eval 在仓库文件、命令输出和记忆文件中植入内容，对比 clean、carry、reset 和 ablation 各组，并可通过用户的 AGENT.md 修复被污染记忆，用任务自带 verifier 评分，报告暴露、攻击成功、任务成功与恢复等指标及区间估计。
推荐理由：原文给出了在 DeepSWE 任务上实测 prompt injection 与记忆中毒的实验设计，含对照组、恢复机制和成本记录方法。
Orkeon 项目在 GitHub 开源了一个 .NET 10 智能体团队框架，当前版本 1.0.0-rc.4，MIT 许可。核心是把权限边界放在模型前面：智能体只能访问声明的虚拟挂载路径（ro/rw），越界写入在落盘前被拒绝，另有工具调用数、时长、token 等执行预算和熔断器；Orkeon.Compliance.Vfs 分析器可让 C# 项目里直接的 System.IO 调用变成编译错误。框架支持 YAML、.ork.ts 和 C# 三种编写方式，含 6 种编排策略、16 个 LLM 提供商、91 个内置工具、6 种记忆存储，可用 Ollama 等本地模型免 API key 运行，快速上手命令见 https://github.com/Orkeon/orkeon 。
推荐理由：这个 .NET 智能体框架把权限边界做成产品核心，虚拟文件系统、执行预算和编译期拦截都讲清了实现方式，适合关注 Agent 安全约束的读者参考。
Spark 是一个本地优先的 AI 编码 Agent，pip 一键安装，所有写盘和 shell 命令都经过审批门控（suggest/auto-edit/full-auto 三种模式），受保护路径和工作目录外写入不受任何模式覆盖。v0.9.0 支持多文件编辑（apply_patch）、持久 PTY 终端、子 Agent、会话分叉、MCP、基于 mem0 + ChromaDB 的可选语义记忆，并内置 DeepSeek / Qwen / ZhipuGLM / Kimi / Doubao / Ollama 等中文模型预设，对工具和文件结果按不可信数据标记中英文提示词注入模式。
推荐理由：原文详细列出了审批门控的三种模式、受保护路径规则和v0.9.0的功能清单，读者可以直接评估这个本地优先编码Agent是否值得部署。