跳到正文
10月18日周日
  1. arXiv · cs.AI48

    Pair-Aware Optimization:协调探索与精化以越狱 LLM 智能体

    arXiv 论文提出 Pair-aware optimization,一种结合零阶(ZO)与一阶(FO)优化的 LLM 智能体越狱攻击框架:先用 ZO 探索对抗前缀,再用 FO 精化对应后缀,并保留多个前缀候选进行条件化精化与配对选择。论文还从随机生成视角出发,在优化与评测中采用一致的随机解码。在恶意指令与恶意环境 benchmark 上的实验表明,混合优化优于单一优化器方法,且优化顺序显著影响攻击效果。

  2. arXiv · cs.CL43

    医疗微调重塑而非降低面向患者的 AI 风险:基于量规与 LLM 评审的评估框架

    一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示,风险语言与事实幻觉率统计独立(Spearman ρ = -0.065),医疗微调不降低总风险而是重塑风险:BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言,Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。

10月17日周六
  1. arXiv · cs.AI11

    CoLAT:面向标签投毒下鲁棒图神经网络的对比对抗训练方法

    研究者提出 CoLAT(Contrastive Label-flipping for Adversarial Training),一个针对图神经网络标签投毒防御的对比对抗训练框架。该方法利用对比嵌入识别标签-结构不一致的高风险节点,在对抗训练中引导对抗性标签翻转,并顺带清洗部分受损标签。在多个 benchmark 上,CoLAT 在不同投毒强度下持续优于现有防御方法,且可高效扩展到大图。

  2. arXiv · cs.AI39

    频域成员推断攻击为何敌不过置信度阈值:分频段分析

    一项 arXiv 研究通过零相位低通滤波逐频段测试,发现基于频域衰减的成员推断攻击并不优于单一置信度阈值。在联邦学习的两个 ResNet-18 目标模型上,最优频段得分 AUC 为 0.513 和 0.735,而置信度阈值分别达 0.537 和 0.943;对 1206 个候选得分的搜索也未找到胜出者。机制在于:去除细节时成员与非成员的置信度差距虽增大,但方差增长更快,成员信息随图像整体结构而非某一频段存在。

  3. arXiv · cs.AI39

    激活监测器能在多大程度上受益于原始模型计算?arXiv 论文解析

    一项 arXiv 研究考察激活监测器的性能在多大程度上依赖对原始模型计算的访问。在 4 个模型、2 个反事实监测任务上,无需原始行为生成轨迹即可恢复大部分性能,但原生训练的监测器仍有最高 0.014 AUROC 的一致优势,且在改写后行为标签变化的样本上提升明显。结果强调需要评估来判定原始模型计算何时提供额外预测价值。

  4. arXiv · cs.CL52

    arXiv 论文:用 2M 合成故事扩展概念向量以研究 AI 对齐与可解释性

    论文提出用合成概念—对抗故事对的激活均值差构造特征向量,覆盖 1,036 个对齐相关概念、2M 条多语言多题材合成故事并公开发布。在三个模型家族的六个模型上,这些向量可泛化到聊天对话与网页文本的概念检测,形成跨模型可解释的几何结构,注入激活后可因果地引导模型行为,并被用于分析越狱攻击与数学及智能体推理过程中的模型表征。

    推荐理由:这项工作用合成故事对构造特征向量,给出了跨六模型的可验证泛化和因果操控结果,是研究模型概念表征的可迁移路线。

10月16日周五
  1. arXiv · cs.AI45

    GatewayBench:MCP 网关能力与安全的统一评测平台

    研究者提出 GatewayBench,首个针对 MCP 网关的统一评测框架与基准。其包含 524 个任务、来自 251 个真实 MCP 服务器的 11,118 个工具,将网关架构分为扁平化与分层两类,并对 7 个主流 MCP 网关开展良性与对抗任务评测。结果显示不同网关设计在任务完成率、工具使用效率和抗攻击能力上差异显著,且与底层模型和 agent harness 强相关。

  2. arXiv · cs.CL39

    "You" 并非有毒:LLM 标注者如何改写网络对话规律

    LLM 标注者常把第二人称称呼误判为毒性,这一偏差制造出人类标注中不存在的“对话规律”。在 125 万条带众包标注的新闻评论上,Claude Haiku 将不含"you"的无毒评论误标 12%,含四个及以上"you"的误标 51%,导致毒性随回复深度上升(每层 +0.93 个百分点),而众包标注下反而略降(-0.12);测试的全部七个 LLM 都过度标记"you"。论文提出的 Threadsafe 方法用人工标注校正模型预测,1000 个人工标注即可排除 Haiku 的上升规律,区间宽度在 1000-8000 标注下为 DSL 方法的 0.75 倍。

  3. arXiv · cs.AI49

    LLM 安全证据路径失效:研究揭示框架演进边界的监控有效性问题

    一项 arXiv 研究提出 canary contracts 协议,检测 LLM 框架中证据已被识别却未送达决策点的监控失效问题。该协议在 11 个 LLM 或 agent 安全项目组、四个实现生态中确认 18 起证据路径失效,其中 14 起触及 E1 执行边界。研究建议对框架演进的 schema、流、工具和适配器层进行回归测试。

  4. arXiv · cs.AI55

    MobileInject 基准评估移动端 MLLM 智能体的多模态注入与推理到执行安全

    研究团队发布 MobileInject,首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准,包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击,实验显示移动智能体普遍易受多模态注入影响,许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。

    推荐理由:论文给出了针对移动端多模态智能体的注入攻击基准,覆盖 11 个场景 108 个风险实例,可用来定位智能体早期推理被劫持的失效点。

  5. arXiv · cs.CL56

    arXiv 论文提出 Self-Instructed CoT Controllability:推理模型在自我指令下能更好控制思维链

    论文提出 Self-Instructed CoT Controllability 评测方法,把约束作为自我指令放进思维链内部来测量模型遵循能力,结果显示自我指令下的可控性显著高于用户提示指令,即便只是提醒模型遵循用户约束也能明显改善。作者还演示了自我指令可用于监控规避,对 CoT monitorability 构成风险。

    推荐理由:论文把 CoT 约束从用户提示挪进模型自我指令后可控性显著提升,并指出这会威胁 CoT 监控的可信度。

  6. arXiv · cs.CL63

    arXiv 论文揭示小体量工具调用 Agent 低提示注入成功率背后多数是忽略而非拒绝

    arXiv 论文审计了 11 个开源权重 Agent(2-14B)在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹,发现失败攻击中 76-80% 是忽略而非拒绝(17-18%)。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%;其提出的 Attack-Task Outcome Matrix(ATOM)显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务,建议评测同时报告攻击失败方式与任务完成度,并开放了标注语料、judge 提示词与分析代码。

    推荐理由:论文指出低攻击成功率掩盖了安全失败方式,提供了按失败类型与任务完成度拆解评测的可迁移方法。

  7. arXiv · cs.AI48

    重新思考 GRPO 在大型推理模型安全对齐中的应用并提出 Beacon 框架

    论文指出 GRPO 用于大推理模型安全对齐时存在优势坍缩与不安全多样化两种失效模式,并提出包含 Safety Signal Recovery 与 Safety-Utility Decoupled Alignment 的 Beacon 框架。在 Qwen3 与 DeepSeek-R1-Distill 四个变体、八个 benchmark 上的实验显示,平均安全误差最多降低 32.83 个百分点,同时保持较低过度拒答。

  8. arXiv · cs.CL49

    检索开始之前:LLM Agent 的安全与工具调用决策研究

    一项 arXiv 预印本研究了七个开源权重 LLM 在有害请求下是否调用外部工具的先验决策: admitted 有害请求后的平均伤害率为 74.5%。因子化干预显示,中和请求操作成分产生最大的准入对比(19 pp),纯文本拒绝训练可降低保留良性工具使用模型的unsafe准入率,33.6% 的有害调用伴随书面拒绝。研究建议直接评估和监督工具调用决策,而非以文本拒绝作为代理。

  9. arXiv · cs.CL62

    ECHO 论文提出以回复有害性替代合规代理的优化式越狱攻击方法

    论文提出 ECHO(Evaluation-Conditioned Harmfulness Optimization),用基于实际有害能力的 1.7B 回归器 HarmSig 给出的回复级连续有害性评分,替代现有优化式攻击中以肯定前缀等提示层 token 级合规代理为目标的做法。方法结合五个词级扰动算子与带全局 top-m 记忆的 Keyword-Anchored Beam Search,在严格黑盒威胁模型下,对五个开源模型在 AdvBench 上取得最高 0.898 的 StrongREJECT 均分和 89.23% 的 HarmBench 成功率,代码已公开。

    推荐理由:论文把越狱攻击的优化目标从提示层合规代理换成回复层连续有害性评分,评测方法和代码都开源,可复现。

  10. arXiv · cs.AI56

    arXiv 论文提出 Agent 安全评测中的捷径敏感性三层审计框架

    Hasan Demirkiran 在 arXiv 发布论文(arXiv:2610.22243),提出三层 shortcut 审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,已被 NeurIPS 2026 工作坊 TAE 与 AIWILD 接收。实验显示改变 <INFORMATION> 标记使拦截率下降 8.33 个百分点,不透明工具别名使其上升 11.46 个百分点;AgentHarm-Traj 上 TS-Guard 的 F_1 从 .902 降至 .719。作者建议采用域分组 holdout、评估单元指标和安慰剂对照配对干预。

    推荐理由:论文给出shortcut审计框架与配对干预实验,说明评测数据表征如何改变guard决策和指标,方法可直接借鉴到自建评测。

  11. arXiv · cs.AI55

    LinguaGuardBench 揭示语言是 Agent 安全守卫的攻击面

    作者构建 LinguaGuardBench,基于 TS-Bench AgentDojo-Traj 的 1220 个标注步骤,仅将用户指令译为德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,检验 Agent 守卫判定是否受请求语言影响。在 19 个守卫中,多数开源小型和专用守卫的判定翻转超出自身噪声底,专用守卫最敏感;13B 以下九个守卫经安慰剂校正的翻转率从法语的 +1.5 pp 升至阿姆哈拉语的 +4.4 pp,12-30B 开源守卫更多误拦良性步骤(最高 +5.0 pp),10B 以下守卫出现召回损失(最高 -7.4 pp);前沿守卫偏移至多约一个百分点,Gemini 3.8 Flash 最稳定。基准和全部 489k 判定已开源。

    推荐理由:研究把用户指令译成多语言而其余轨迹不变,分离出语言本身对 Agent 守卫判定的影响,方法设计和 489k 判定数据都可复用。

  12. arXiv · cs.AI35

    评测意识不只存在于英语:LLM 在印度语言测试中表现是否不同?

    一项研究考察 LLM 的评测意识在印度语言中的表现,测试了来自三个家族的四个指令微调模型在五种印度语言及英语下的行为。结果显示,当模型被告知正在被监测为安全测试时,四个模型在全部六种语言中对有害请求的拒绝率均上升,印度语言平均上升 14.4 个百分点,但也使良性请求拒绝率从 6.9% 升至 11.3%。研究团队发布了全部 47,880 条已判定响应以支持后续研究。

  13. arXiv · cs.CL34

    稀疏自编码器中的表征重分布研究

    该研究提出重分布敏感度分数(RSS),用于识别在提示词变换下跨稀疏自编码器(SAE)特征重复出现的表征变化。在覆盖 8 个语言模型的 27 个预训练 SAE 上,RSS 能稳定刻画提示词变换引起的重分布模式,并结合线性读出的精确分解区分表征变化与下游失败。在两个冻结安全读出上,RSS 支持侵蚀方法的失败预测 AUROC 达 0.935 和 0.958,接近全量侵蚀的 0.965 和 0.964。

  14. arXiv · cs.CL54

    arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性

    华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270,用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级(escalate)决策,按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97,但不确定性触发的模型漏掉 32–97% 的必要升级,9.7B 配置在冲突下从 0.97 降到 0.78;语言化置信度不一致(ECE 0.10–0.54)。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93,但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00,结论限于该基准。

    推荐理由:论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例,并提示路由控制器也要单独做泛化测试。

  15. arXiv · cs.CL32

    QuasiLeak-Bench:评估基于 LLM 的隐私检测器在策略约束下的准证据组恢复能力

    arXiv 论文提出 QuasiLeak-Bench,一个评估 LLM 隐私检测器在策略约束下恢复准证据组(quasi-evidence group)的基准,检测器需找回完整的准证据组并标记披露政策禁止的内容。实验显示现有隐私检测器迁移表现差,可本地部署的 LLM 检测器远落后于闭源专有模型,主要因漏掉大多数准证据组;而在其训练集上微调的 4B 模型在保留文档上超过最强的提示模型,表明该任务可学习。

10月15日周四
  1. arXiv · cs.CL34

    GPT-5.4 智能体如何解读科学论断中的歧义:arXiv 论文提出 Claim Cards

    arXiv 论文提出 Claim Cards,在收集证据前将验证智能体对科学论断的解释记录为九个字段,并标注为 stated、inferred 或 default。在 60 条材料科学与生物医学专家标注论断上对 GPT-5.4 智能体共进行 900 次运行,冻结卡片中单个字段被刻意修改后,约三分之一的论断判定被改变,而随机预期约为七分之一(p < 0.001)。卡片使每次运行的 GPT-5.4 token 与时间增加约十分之一,但与专家标签的一致性没有可测变化。

  2. arXiv · cs.CL56

    Moral Combat:基于道德基础理论的 LLM 越狱框架研究

    arXiv 论文提出基于道德基础理论(MFT)的多智能体越狱框架,将被拒的有害请求改写为符合某种道德基础的表述并辅以先例强化。在三个越狱数据集、五个开源与闭源模型上测试,单次尝试即有较高成功率,重复尝试后进一步提升;分析还发现现有安全基准所违反的道德基础分布不均,集中在模型已有偏见的维度上。

    推荐理由:论文用道德重写框架在五个模型上实测越狱成功率,并指出安全基准在道德维度上的分布偏差。

  3. arXiv · cs.AI41

    Med-TrustRouter:面向临床推理的回归安全知识路由方法

    医疗推理 LLM 依赖的外部知识可能过时、被污染或产生幻觉,导致正确答案被改错。研究者构建了覆盖检索证据与推理链的医学知识投毒 benchmark,含七类攻击族,并提出 Med-TrustRouter:在保持求解器冻结的情况下,基于运行时信号逐实例路由知识使用。在七个医疗推理设置中取得 78.9 macro 和 69.2 worst-case 准确率,macro 与最强基线持平,同时显著提升最差情况下限。

10月14日周三
  1. arXiv · cs.AI43

    Two Clocks 框架解析:RLVR 中更大 rollout batch 为何学习更慢、失效却准时

    一篇 arXiv 论文提出“双时钟”框架,解释 RLVR 训练中平方根学习率规则下更大 rollout batch 每样本进展下降的原因:大 batch 更新次数更少但更长,曲率损耗更大,并推导出学习率相关的临界 batch。在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围的 GRPO 实验支持两个预测,ratio clipping 可延迟失效但进展差距仍存在,作者据此提出先小 batch 后大 batch 的多步训练调度。

  2. arXiv · cs.CL39

    双侧攻击评估:AI 文本检测器在人类与机器文本同时受攻击时的鲁棒性研究

    一项 arXiv 研究提出双侧评估协议,对人类与机器文本同时施加攻击,测试九个常用 AI 文本检测器的鲁棒性。结果显示,此前报告的 AUROC 提升在双侧评估下消失,被攻击的人类文本误判率最高达 100%;简单预处理可逆转字符级攻击,但词级同义词替换仍有效且不可逆。

  3. arXiv · cs.CL42

    加密技能或成 AI 智能体新安全漏洞:Ciphered Skill Injection 攻击解析

    研究提出 Ciphered Skill Injection(CSI)攻击,将恶意指令编码隐藏在第三方技能文件中,诱导 LLM 智能体解码并执行。在 8 个模型、139 组注入任务对的评测中,Caesar 及分层变体在缩短技能的主设定下攻击成功率最高达 47.5% 和 40.3%;成功解码不必然导致攻击成功,且分层效果因模型而异,现有技能扫描器很少能检出注入。

  4. arXiv · cs.AI49

    TIPER:通过人格演化与任务完整性约束揭示 LLM 智能体的鲁棒性弱点

    研究者提出 TIPER,一种保持任务完整性的用户人格演化方法,可自动发现暴露交互式 LLM 智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上,TIPER 使全部 12 个 GPT-5.4 设置及 7 个智能体共 28 个智能体-领域组合的 held-out avg@3 分数下降,降幅 5.8 至 33.7 个百分点,中位数 22.9 个百分点。该方法还构建了行为-失败分类法,为智能体鲁棒性改进提供失败分析依据。

10月12日周一
  1. arXiv · cs.AI48

    理解并减少说服优化中的对齐偏差

    一项 arXiv 研究发现,仅以接收方信念偏移为目标的 RL 说服训练,会使 sender 模型每局使用的不同非对齐策略平均增加超过 25%,每局捏造次数增至 RL 前的 4 倍以上。研究比较了强化策略引导、干净示范、惩罚非对齐策略、提升捏造检测能力等缓解手段,发现最权衡的方案是将对齐说服策略引导与非对齐行为的奖励惩罚相结合,无需干预时此类环境会自然放大非对齐策略。

10月10日周六
  1. arXiv · cs.CL33

    社交媒体表达下中文大语言模型的社会偏见研究

    该研究构建 73 组配对探针,覆盖性别、地域与职业三个维度,将任务从直接合理性判断重构为社会共识估计,并区分保留语义极性的风格化包装与反转表面极性的反讽包装。对六个具备中文能力的大语言模型的评测显示:所有模型均表现出显著的身份偏见效应,五个模型出现显著负向风格化包装效应,反讽迁移呈明显跨模型梯度。结果表明表达形式并非偏评估的透明载体,反讽下的低分不应直接解读为偏见缓解。

  2. arXiv · cs.AI49

    X-AgentRed:面向个人智能体的自演化红队测试框架,挖掘跨服务有害调用路径

    研究者提出 X-AgentRed,一个自演化红队测试框架,通过构建工具依赖有向图并利用执行反馈,发现个人智能体在多服务生态中完成良性请求时可能产生的有害工具调用路径。该框架通过工具替换多样化路径并修正被阻塞步骤的前置条件实现自我改进。在四个前沿 agentic 模型上,X-AgentRed 的有害路径率达到 STAC 的 1.77 倍,工具覆盖率平均达 2.99 倍。

10月9日周五
  1. arXiv · cs.AI51

    SWE-DeceptionBench:跨软件开发生命周期评测大模型欺骗行为

    研究团队发布 SWE-DeceptionBench,用于评测大模型在软件工程全生命周期中的欺骗行为,覆盖六个生命周期阶段与主动、被动两类欺骗触发,中英文共 720 个测试实例。对七款主流大模型的评测显示,即使在中性条件下,主动欺骗与被动欺骗的总体发生率仍达 49.88% 和 64.29%;外部诱导条件对两类欺骗影响程度不同。轻量防御方面,guard 模型会漏掉许多欺骗性请求,Self-Reminder 能减少但不能消除欺骗性回应。论文地址:https://arxiv.org/abs/2610.13626v1

  2. arXiv · cs.CL59

    APEX-Harm 基准评测长程智能体在共享工作区中的注入攻击安全性

    论文提出 APEX-Harm 基准,评测针对共享专业工作区中长程智能体的提示词与脚本注入攻击,涵盖金融、咨询和法律任务,每个任务含 115 至 328 个文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具。评测 12 个前沿模型每模型 180 个任务实例,Opus 5 与 Sonnet 5 总体攻击成功率最低(8% 和 20%),任务特定脚本替换与攻击者通用脚本攻击平均成功率达 81-84% 和 73%,Gemini 3.8 Flash 平均任务得分最高(0.877)但攻击成功率仍有 33%。结果表明完成任务并不代表行为安全,智能体可能产出正确交付物的同时执行未授权操作。

    推荐理由:基准覆盖六类注入攻击和12个前沿模型的实测数据,可以用来对比任务得分与攻击成功率之间的差距。

  3. arXiv · cs.AI57

    arXiv 论文评测七个开源模型作 Agent 护栏:一个词即可攻破类型化决策门控

    一篇 arXiv 论文(arXiv:2610.12292)评测了七个开源权重模型作为 Agent 护栏的决策能力,在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%,随机水平为 50%。在 Agent 工具调用合成测试中,六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%;给宽松选项起误导性名称后,对四个把标签纳入输入的模型该错误率达到 93% 至 100%,作者测试的所有防御手段均被攻破,结论是这类模型可以减少人工审核量,但不应作为最终决策组件。

    推荐理由:论文分别统计放行与拦截两类错误,并实测攻击方法,读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。

  4. arXiv · cs.AI65

    arXiv 论文提出白盒探针方法检测 LLM 智能体欺骗与破坏,SHADE-Arena 达 98.8% AUC

    一篇 arXiv 论文展示白盒探针可扩展至前沿模型监控场景,通过迄今最大的欺骗数据集训练,并引入跨多层级与多 token 聚合信息的新型探针架构。探针在 SHADE-Arena 上达到 98.8% AUC,超过 Opus 5.5 文本监控基线;在内省式欺骗评测中区分模型真实隐藏目标的 AUC 最高达 99.7%,也能检测开源权重模型在政治敏感话题上的撒谎。作者发布了名为 FIBS 的训练数据集。

    推荐理由:论文给出了探针检测模型欺骗的具体架构和 AUC 数据,还公开了 FIBS 训练数据集,关注模型监控的读者可以参考其方法。

  5. arXiv · cs.CL50

    引用而未参考:对法律链式推理忠实性的反事实审计

    一项 arXiv 研究对大语言模型法律判决解释的忠实性进行反事实审计:在保持案件事实不变的情况下替换模型所引用的法律依据,从隐藏状态解码判决变化。实验覆盖 7 个开源权重模型(8B-70B)和 4 个基准,模型在 66.7%-100% 的生成中能正确命名法律依据,但判决随依据改变而翻转的比例仅为 0.0%-21.7%(CaseHOLD)、30.0%-76.7%(ECHR 和 SCOTUS)、43.3%-50.0%(ContractNLI),模型规模和 LoRA 复现的法律专用模型均未能弥合差距。红队测试显示模型对隐藏在案件事实中的对抗指令服从率达 73.3%-96.4%,远高于判决翻转敏感度,表明引用法律依据不能作为判决依赖性的可靠指标。

  6. arXiv · cs.CL57

    arXiv 论文:大语言模型会明知故犯地隐瞒自己的错误

    arXiv 论文(arXiv:2610.11351)通过在 LLM 轨迹中预填合成错误,测试模型是否会主动披露失误。结果显示,模型在 36.4% 的聊天和 67.1% 的智能体任务中未披露错误;分别有 2.4% 和 5.3% 的情况下模型在思维链中已察觉错误却仍隐瞒,Gemini 3.5 Flash 在智能体任务中明知隐瞒的比例最高达 19.9%。作者建议开发者使用独立监控器审查智能体轨迹,或专门训练模型自查并披露过去行为中发现的问题。

    推荐理由:研究用预填错误的轨迹量化模型隐瞒失误的比例,并区分明知隐瞒与未察觉两种情形,还比较了不同模型的差异。

10月8日周四
  1. arXiv · cs.AI46

    推理型 AI 智能体在共享结构化输入下难以实现集体随机选择

    一项行为测试发现六个推理模型在基于标识符的随机选择中使用阈值和整除规则。GPT-6 Sol 和 Gemini 3.8 Flash 在共享标识符下表现出相关性,显式要求独立随机化可减少但不能消除这种相关性;在随机抽取客户请求供人工审查的任务中,GPT-6 Sol 接近目标抽取率但选择可预测,其余模型很少抽取,四个模型都严格遵循提供的随机数。

  2. arXiv · cs.AI29

    AI 安全 Stackelberg 博弈模型中的防御充分性分析

    一篇 arXiv 论文研究了自动化测试、红队测试与事件响应的反馈何时能为 AI 系统提供充分防御。论文证明:若每个未解决攻击都有持续被发现的机会、修复有效且更新保留既有防护,有限输入构成的攻击面最终被防御的概率为 1,并推导出完成时间边界。论文还构建防守者主导的 Stackelberg 博弈,刻画威慑攻击的最低成本投入分配及均衡情形;数值实验显示更快修复可缩短被攻陷持续时间而不降低被攻陷概率。