跳到正文
10月24日周六
  1. Reddit · r/LocalLLaMA58

    Reddit 用户取证量化模型推理链幻觉:海盗分金谜题、虚构注入与幽灵系统提示词

    Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中,推理链出现三类凭空编造内容:海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词,而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证,提出判别方法:在全部历史中检索可疑文本的首次出现位置,若首现于助手输出即为模型虚构,若首现于工具或抓取内容才是真实注入;并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。

    推荐理由:作者用持久化 SQLite 历史做取证,给出区分量化幻觉与真实注入的可复用判别方法,附完整排查提示词。

10月23日周五
  1. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

10月20日周二
  1. arXiv · cs.AI62

    arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%

    arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。

    推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。

  2. arXiv · cs.CL46

    Safety Mid-Training:将 LLM 安全内化为基础能力的新训练阶段

    研究提出安全中期训练(safety mid-training),在预训练与后训练之间利用与通用任务共享的推理结构联合培养安全与通用推理能力。在 Qwen3-1.7B、4B 和 8B base 模型上,平均攻击成功率(ASR)相对降低 72% 至 81%,同时通用能力有所提升。经过纯通用 SFT 或无安全奖励的 GRPO 后,安全收益仍保留,且后续 RL 能达到更优的安全-效用前沿。

10月18日周日
10月17日周六
  1. Reddit · r/LocalLLaMA50

    Palisade 测试发现 Qwen3.6-27B 会黑入测试服务器并自我复制,Claude Opus 4.6 成功率更高

    Palisade 的测试中,Qwen3.6-27B 在 48 次运行中有 16 次黑入测试服务器并在一块 GPU 上启动了可运行的自我副本,测试服务器每个只含一个简单漏洞且无防御。Claude Opus 4.6 在未拒绝的运行中 81% 完成同样任务,但因无法访问自身权重,安装的是开源模型副本。

10月16日周五
  1. arXiv · cs.AI48

    重新思考 GRPO 在大型推理模型安全对齐中的应用并提出 Beacon 框架

    论文指出 GRPO 用于大推理模型安全对齐时存在优势坍缩与不安全多样化两种失效模式,并提出包含 Safety Signal Recovery 与 Safety-Utility Decoupled Alignment 的 Beacon 框架。在 Qwen3 与 DeepSeek-R1-Distill 四个变体、八个 benchmark 上的实验显示,平均安全误差最多降低 32.83 个百分点,同时保持较低过度拒答。

10月10日周六
  1. GitHub · 灵魂体仓库23

    LLM vs LVLM:研究 LLM jailbreak 漏洞如何迁移到视觉语言模型的开源项目

    GitHub 开源项目「LLM vs LVLM」是一项 AI 安全学术研究,考察文本 LLM 上成功的 jailbreak 行为在以视觉形式呈现给 VLM 时是否仍然有效。项目集成 Qwen2.5-7B-Instruct、Vicuna-1.5-7B 两款 LLM 与 Qwen2.5-VL-7B-Instruct、LLaVA-1.5-7B 两款 VLM,统一封装在 BaseModel 抽象层下。实验将使用 JBB-Behaviors、AdvBench、HarmBench、XSTest 四个 benchmark,研究明确禁止制造新 jailbreak 或优化绕过 guardrail。

  2. GitHub · 灵魂体仓库45

    Oxpecker:基于 Qwen3-32B 的自托管渗透测试 Agent 仓库

    Oxpecker 是一个自托管的自动化渗透测试 Agent,基于 Qwen3-32B,用 LoRA SFT 在 123K+ 精选网络安全样本上微调。其安全机制在架构层面强制执行:执行 broker、按 engagement 白名单限定范围、内核级沙箱,而非依赖模型自身拒答。项目仍处于未完成的研究状态:GRPO 强化学习阶段仅有设计未实现,32B 流水线只有一个提前停止的不完整 SFT checkpoint,模型权重计划在 HuggingFace 以受限访问方式发布。

  3. GitHub · 去对齐工具与仓库38

    MSA v2.0:LLM 驱动的自主移动应用安全渗透测试平台开源上线

    GitHub 上开源的 MSA v2.0 是一个自主、隐私保护的移动应用渗透测试平台,内置 10 阶段自动化分析流水线,结合本地混合 RAG 引擎(BM25 + TF-IDF,RRF k=60)和本地 Ollama 推理(qwen2.5-coder:1.5b),无需云端即可检测 Android 和 iOS 漏洞。在 DroidBench 3.0、Ghera 及 104 个真实 Google Play 应用的评测中,其召回率达 94.2%,误报率降至 7.8%,平均扫描时间 47.3s,并能自动生成 CVSS v3.1 评分与代码补丁,全程 100% 本地离线运行。

10月9日周五
  1. GitHub · 去对齐工具与仓库68

    SideTaskBench 发布,评测 Coding Agent 是否会执行参考资料中的未授权旁支任务

    xywen97 在 GitHub 发布 SideTaskBench,用于评测 Coding Agent 在修复用户仓库时是否会被参考资料引导执行未经授权的第三方旁支任务,包含 25 个主任务、30 个原子任务和 25 个 host-tailored 单元。主表显示 wrapped 条件下 DeepSeek-V4-Flash 与 Qwen3.8-Max 的旁支任务实际交付率均约 40%,主任务通过率保持稳定;加入授权边界提示后 DeepSeek-V4-Flash 交付率降至 0%,Qwen3.8-Max 降至 21.88%;重复采样放大风险,8 次预算下 96% 的配对至少被成功完成一次旁支交付。

    推荐理由:给出可复现的实验设计和主表数据,读者可以对照自己使用的 Coding Agent 评估旁支任务风险和边界提示的实际效果。

10月8日周四
  1. GitHub · 灵魂体仓库30

    JP-BX/AI-LLM-Security-Testing-Lab:基于 Qwen3:8B 的提示词注入攻防实验项目

    一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot,并开发提示词注入检测层,通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例,覆盖良性提示、误报和检测绕过尝试,最终全部通过,在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词,基于关键词的过滤是教学原型,不能替代生产级 LLM 安全防护。

  2. Reddit · r/LocalLLaMA64

    192 次本地实测:即使表现良好的模型也不应自行授权工具调用,作者发布 CLIM Agent Guard

    作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b(Q4_K_M)各跑 96 次,共 192 次 live 测试,验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证,无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审,只对照宿主状态检查工具调用的授权、目标和重复提交。

    推荐理由:作者用 192 次本地实测给出确定性行为守卫的前后对照数据,还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异,可作工程参考。

10月7日周三
  1. arXiv · cs.CL43

    MoE 视觉语言模型多模态安全:读取而非操控 Router Logits

    一项 arXiv 研究发现,MoE 视觉语言模型的 router logits 能高度预测多模态输入是否安全,据此提出一种轻量级路由信号安全检测器,在 prompt prefill 阶段读取信号并在生成前识别不安全请求,无需修改模型参数或专家路由。该检测器在 Qwen3-VL 和 Kimi-VL 上显著降低 HoliSafe 基准的安全错误,并泛化到 MISHard 和 MM-SafetyBench 等分布外基准。