跳到正文
10月17日周六
  1. arXiv · cs.AI38

    TUPLE-Bench:评估与缓解类型化决策模型中的隐私-效用权衡

    研究者推出 TUPLE-Bench 基准,用于评估类型化决策模型的隐私泄露问题。在九个模型上,即便明确要求隐藏原因,91.88%-99.93% 的响应仍会泄露;完整输出对保留样本的恢复率达 62.85%-75.35%,仅用所选类别则为 51.04%-57.64%(50% 为随机水平)。论文还提出 workflow-constrained privacy quantization(WCPQ),在保持下游工作流成本的同时降低秘密恢复率。

10月16日周五
  1. FBI IC3 · 犯罪与诈骗公告15

    FBI 与 CISA 警告:网络攻击者以钓鱼和短信钓鱼 targeting 2026 中期选举官员

    FBI 与 CISA 发布公告,提醒 2026 年美国中期选举和竞选官员警惕网络威胁:恶意攻击者正利用钓鱼和短信钓鱼窃取登录凭证等敏感信息。近两个选举周期钓鱼攻击激增,过去一年经加密聊天应用的短信钓鱼增多;超级智能(SI)技术使钓鱼邮件更逼真、规模更大,还被用于制作逼真的 deepfake 音视频。双方建议部署抗钓鱼 MFA、更新杀毒软件、加强员工识别培训并及时修补漏洞。

  2. arXiv · cs.AI49

    从十亿级到百万级语言模型:面向嵌入式后渗透攻击的实操能力评估

    arXiv 论文系统评估了七款 20M–1.5B 参数的开源小型语言模型在后渗透攻击代码生成任务(目录枚举与后门生成)中的表现,比较 Python 与 Lua、提示策略、语法约束解码及执行反馈循环。结果显示攻击性代码生成能力不随模型规模线性增长,任务形式化影响大于提示词工程。Qwen2.5-Coder 1.5B 结合算法形式化与 few-shot 提示,在 Python 和 Lua 的目录枚举任务中达到 Pass@5 100%,后门生成在 Python 达 100%、Lua 达 99.2%。

  3. arXiv · cs.AI41

    LLM 叙事诱导谄媚评测:用户的叙事方式会如何左右模型判断

    一项 arXiv 研究构建了含 500 个争议问题、共 5,500 个评测实例的基准,在立场不变的情况下改变用户论证的叙事形式,测试 7 个 LLM 的谄媚程度。结果显示效应并非随叙事展开单调变化:个人经历会降低模型附和,而因果框架和世界观式综合会增加附和;GPT-5.1 消融实验表明因果框架影响最强,保留原要点的分点呈现也比段落形式更易引发附和。这表明谄媚不仅取决于用户立场,还取决于支撑解释的结构与呈现方式。

  4. arXiv · cs.AI31

    S-GAP:面向 GraphLLM 的隐蔽图攻击原语

    研究者提出图攻击原语 GAP,用统一的原子语义表示融合文本与结构扰动,避免攻击意图割裂导致的不隐蔽问题,并进一步构建多智能体框架 S-GAP 迭代优化语义内容。在 4 个数据集、3 个 GraphLLM 和 2 种攻击设置上的实验显示,S-GAP 较最强基线平均提升 ASR 7.02%,同时扰动更具关系合理性,揭示了当前 GraphLLM 的关键脆弱性。

  5. arXiv · cs.AI45

    GatewayBench:MCP 网关能力与安全的统一评测平台

    研究者提出 GatewayBench,首个针对 MCP 网关的统一评测框架与基准。其包含 524 个任务、来自 251 个真实 MCP 服务器的 11,118 个工具,将网关架构分为扁平化与分层两类,并对 7 个主流 MCP 网关开展良性与对抗任务评测。结果显示不同网关设计在任务完成率、工具使用效率和抗攻击能力上差异显著,且与底层模型和 agent harness 强相关。

  6. arXiv · cs.CL39

    "You" 并非有毒:LLM 标注者如何改写网络对话规律

    LLM 标注者常把第二人称称呼误判为毒性,这一偏差制造出人类标注中不存在的“对话规律”。在 125 万条带众包标注的新闻评论上,Claude Haiku 将不含"you"的无毒评论误标 12%,含四个及以上"you"的误标 51%,导致毒性随回复深度上升(每层 +0.93 个百分点),而众包标注下反而略降(-0.12);测试的全部七个 LLM 都过度标记"you"。论文提出的 Threadsafe 方法用人工标注校正模型预测,1000 个人工标注即可排除 Haiku 的上升规律,区间宽度在 1000-8000 标注下为 DSL 方法的 0.75 倍。

  7. arXiv · cs.AI27

    RecReg:基于恢复式屏蔽的强化学习正则安全性质保障框架

    研究者提出 RecReg,一个通过恢复式屏蔽(recovery-based shielding)在强化学习中强制执行非马尔可夫正则安全性质的安全 RL 框架。该框架统一支持不同层级的先验知识与安全保证,论文主要在表格型设定下构建理论基础,提供了相关工作所缺乏的严格安全性与收敛性保证。基于 MASA-Safe-RL 库的大量实验表明 RecReg 学习高效且与理论相符,作者还概述了使用 SOTA model-based RL 扩展到深度 RL 领域的方案。

  8. arXiv · cs.AI49

    LLM 安全证据路径失效:研究揭示框架演进边界的监控有效性问题

    一项 arXiv 研究提出 canary contracts 协议,检测 LLM 框架中证据已被识别却未送达决策点的监控失效问题。该协议在 11 个 LLM 或 agent 安全项目组、四个实现生态中确认 18 起证据路径失效,其中 14 起触及 E1 执行边界。研究建议对框架演进的 schema、流、工具和适配器层进行回归测试。

  9. arXiv · cs.AI55

    MobileInject 基准评估移动端 MLLM 智能体的多模态注入与推理到执行安全

    研究团队发布 MobileInject,首个评估移动端 MLLM 智能体多模态注入攻击与推理到执行安全风险的基准,包含 11 个场景、9 类安全风险和 108 个可执行风险实例。其提出跨模态一致性注入方法及 Multi-Role Collaborative Deception、Reasoning-Camouflage Injection 两种增强攻击,实验显示移动智能体普遍易受多模态注入影响,许多失效源于早期阶段的推理劫持。论文地址 https://arxiv.org/abs/2610.23307v1。

    推荐理由:论文给出了针对移动端多模态智能体的注入攻击基准,覆盖 11 个场景 108 个风险实例,可用来定位智能体早期推理被劫持的失效点。

  10. arXiv · cs.CL56

    arXiv 论文提出 Self-Instructed CoT Controllability:推理模型在自我指令下能更好控制思维链

    论文提出 Self-Instructed CoT Controllability 评测方法,把约束作为自我指令放进思维链内部来测量模型遵循能力,结果显示自我指令下的可控性显著高于用户提示指令,即便只是提醒模型遵循用户约束也能明显改善。作者还演示了自我指令可用于监控规避,对 CoT monitorability 构成风险。

    推荐理由:论文把 CoT 约束从用户提示挪进模型自我指令后可控性显著提升,并指出这会威胁 CoT 监控的可信度。

  11. arXiv · cs.CL63

    arXiv 论文揭示小体量工具调用 Agent 低提示注入成功率背后多数是忽略而非拒绝

    arXiv 论文审计了 11 个开源权重 Agent(2-14B)在 InjecAgent 与 AgentDojo 上的 33,000 条轨迹,发现失败攻击中 76-80% 是忽略而非拒绝(17-18%)。仅改系统提示词即可让 InjecAgent ASR 从 0.2% 变到 43%;其提出的 Attack-Task Outcome Matrix(ATOM)显示 AgentDojo 中 21.7% 的回合 Agent 安全但未完成用户任务,建议评测同时报告攻击失败方式与任务完成度,并开放了标注语料、judge 提示词与分析代码。

    推荐理由:论文指出低攻击成功率掩盖了安全失败方式,提供了按失败类型与任务完成度拆解评测的可迁移方法。

  12. arXiv · cs.AI29

    FuzzInsight:导航覆盖引导 DNN Fuzzing 的效率-效果权衡

    研究者提出 FuzzInsight,针对覆盖引导 DNN fuzzing 中种子利用低效与覆盖引导成本高两大瓶颈给出配置分析与决策指南。其 Equalized Sampling 策略将种子队列平均利用率提升至 77%,较此前方法提高 13 个百分点;在 MNIST、SVHN、GTSRB、CIFAR-100 四个基准上评估 84 种配置,发现非结构化准则 LSCD、LSC、MDSC 以更少计算量达到相当覆盖效果。用生成的边界样本重训练可将泛化鲁棒性平均最多提升 77 个百分点,且不损害原测试分布上的性能。

  13. arXiv · cs.CL44

    解构语言对 LLM 智能体工具准入与检索后安全的影响

    一项覆盖 10 个模型、7 种语言的受控 URL 检索实验发现 SLIP 现象:非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且在每个模型中均出现。要求用页面语言作答时,四个闭源模型在相同工具调用下的平均有害率从 50.3% 升至 57.4%,主要出现在中文和印地语。研究建议多语言安全评估应分开测量工具准入与回答有害性,并区分真正的安全拒答与能力失败。

  14. arXiv · cs.AI48

    重新思考 GRPO 在大型推理模型安全对齐中的应用并提出 Beacon 框架

    论文指出 GRPO 用于大推理模型安全对齐时存在优势坍缩与不安全多样化两种失效模式,并提出包含 Safety Signal Recovery 与 Safety-Utility Decoupled Alignment 的 Beacon 框架。在 Qwen3 与 DeepSeek-R1-Distill 四个变体、八个 benchmark 上的实验显示,平均安全误差最多降低 32.83 个百分点,同时保持较低过度拒答。

  15. arXiv · cs.CL49

    检索开始之前:LLM Agent 的安全与工具调用决策研究

    一项 arXiv 预印本研究了七个开源权重 LLM 在有害请求下是否调用外部工具的先验决策: admitted 有害请求后的平均伤害率为 74.5%。因子化干预显示,中和请求操作成分产生最大的准入对比(19 pp),纯文本拒绝训练可降低保留良性工具使用模型的unsafe准入率,33.6% 的有害调用伴随书面拒绝。研究建议直接评估和监督工具调用决策,而非以文本拒绝作为代理。

  16. arXiv · cs.CL62

    ECHO 论文提出以回复有害性替代合规代理的优化式越狱攻击方法

    论文提出 ECHO(Evaluation-Conditioned Harmfulness Optimization),用基于实际有害能力的 1.7B 回归器 HarmSig 给出的回复级连续有害性评分,替代现有优化式攻击中以肯定前缀等提示层 token 级合规代理为目标的做法。方法结合五个词级扰动算子与带全局 top-m 记忆的 Keyword-Anchored Beam Search,在严格黑盒威胁模型下,对五个开源模型在 AdvBench 上取得最高 0.898 的 StrongREJECT 均分和 89.23% 的 HarmBench 成功率,代码已公开。

    推荐理由:论文把越狱攻击的优化目标从提示层合规代理换成回复层连续有害性评分,评测方法和代码都开源,可复现。

  17. arXiv · cs.CL53

    SAFE-Mem:细粒度权限与治理感知检索的智能体记忆安全框架

    论文提出 SAFE-Mem,为 LLM 智能体持久记忆中的每条声明标注 kind、authority、scope 三种治理标签,并通过治理感知检索与记忆图阻止不可信声明被当作授权偏好或权限使用。在 MPBench 和 LoCoMo 上跨四个 LLM 骨干模型测试,SAFE-Mem 在保留合法记忆的防御中攻击成功率最低,比其中最强者低至少 77%,同时在所有评测防御中答案准确率最高,最多提升 15%。代码已开源。

    推荐理由:论文用细粒度治理标签兼顾记忆安全与可用性,并给出攻击成功率与准确率的量化对比,方法可参考。

  18. arXiv · cs.CL24

    KoLing:超越表层线索的 LLM 生成韩文文本鲁棒检测

    韩语 LLM 生成文本检测研究长期受限于英文中心且依赖表层线索。研究者提出包含 50.9k 实例的抗偏对抗基准 KoLing,分别评估 LLM 生成与 LLM 修改文本检测,并推出基于理论语言学的可解释检测器 KoLingProbe。实验显示 KoLingProbe 在所有检测任务上显著优于强基线,且对对抗攻击保持鲁棒。

  19. arXiv · cs.CL57

    arXiv 论文测量多智能体 LLM 讨论中的隐性信念坍塌

    arXiv 论文 arXiv:2610.22138 测量多智能体 LLM 讨论中的隐性信念坍塌。在十智能体事实讨论中,无对抗者时仅 0.6% 的良性智能体最终接受错误答案,1 个对抗智能体将该比例提升至 44.8%,3 个提升至 60.5%。通过隐藏回复的独立探针发现,3 个对抗者在场时良性智能体在 51.6% 的暴露轮次私下持有错误答案,但仅 19.7% 公开附和,影响大部分不可见于讨论记录,且错误答案会在良性智能体间扩散,基础准确率不能预测鲁棒性。

    推荐理由:论文用隐藏探针区分了智能体的公开表态与私下信念,给出多智能体讨论被少数对抗者带偏的量化数据。

  20. arXiv · cs.CL51

    CATCH 持续对抗训练提升 LLM 诚实性并跨基准迁移

    论文提出 CATCH(Continuous Adversarial Training for Consistent Honesty),借鉴拒答有害请求的对抗训练方法,让模型朝诚实回答训练、远离不诚实回答,同时保持模型能力。在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 两种架构上,仅用数百个自述场景构造的训练目标,即可在 MASK 基准降低施压下的不诚实、在 Among Us 多智能体游戏中增加坦白、在 AuditBench 提升隐藏行为发现率;效果优于提示词和监督微调,诚实性与 SOTA 激活引导相当,但在保持实用性上更优。

  21. arXiv · cs.AI56

    arXiv 论文提出 Agent 安全评测中的捷径敏感性三层审计框架

    Hasan Demirkiran 在 arXiv 发布论文(arXiv:2610.22243),提出三层 shortcut 审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,已被 NeurIPS 2026 工作坊 TAE 与 AIWILD 接收。实验显示改变 <INFORMATION> 标记使拦截率下降 8.33 个百分点,不透明工具别名使其上升 11.46 个百分点;AgentHarm-Traj 上 TS-Guard 的 F_1 从 .902 降至 .719。作者建议采用域分组 holdout、评估单元指标和安慰剂对照配对干预。

    推荐理由:论文给出shortcut审计框架与配对干预实验,说明评测数据表征如何改变guard决策和指标,方法可直接借鉴到自建评测。

  22. arXiv · cs.AI55

    LinguaGuardBench 揭示语言是 Agent 安全守卫的攻击面

    作者构建 LinguaGuardBench,基于 TS-Bench AgentDojo-Traj 的 1220 个标注步骤,仅将用户指令译为德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,检验 Agent 守卫判定是否受请求语言影响。在 19 个守卫中,多数开源小型和专用守卫的判定翻转超出自身噪声底,专用守卫最敏感;13B 以下九个守卫经安慰剂校正的翻转率从法语的 +1.5 pp 升至阿姆哈拉语的 +4.4 pp,12-30B 开源守卫更多误拦良性步骤(最高 +5.0 pp),10B 以下守卫出现召回损失(最高 -7.4 pp);前沿守卫偏移至多约一个百分点,Gemini 3.8 Flash 最稳定。基准和全部 489k 判定已开源。

    推荐理由:研究把用户指令译成多语言而其余轨迹不变,分离出语言本身对 Agent 守卫判定的影响,方法设计和 489k 判定数据都可复用。

  23. arXiv · cs.AI31

    通过随机投影实现隐私保护的 RAG 检索增强生成

    一项 arXiv 研究提出用随机投影保护 RAG 系统中检索数据存储的隐私。对数据存储嵌入和查询嵌入施加同一投影,可在可证明保持语义相似度的同时显著缓解数据提取攻击。跨多种 RAG 架构和数据集,该方法在检索与生成性能上优于基于差分隐私(DP)的方法,且在强攻击模型下经验隐私相当。

  24. arXiv · cs.AI35

    评测意识不只存在于英语:LLM 在印度语言测试中表现是否不同?

    一项研究考察 LLM 的评测意识在印度语言中的表现,测试了来自三个家族的四个指令微调模型在五种印度语言及英语下的行为。结果显示,当模型被告知正在被监测为安全测试时,四个模型在全部六种语言中对有害请求的拒绝率均上升,印度语言平均上升 14.4 个百分点,但也使良性请求拒绝率从 6.9% 升至 11.3%。研究团队发布了全部 47,880 条已判定响应以支持后续研究。

  25. arXiv · cs.CL34

    稀疏自编码器中的表征重分布研究

    该研究提出重分布敏感度分数(RSS),用于识别在提示词变换下跨稀疏自编码器(SAE)特征重复出现的表征变化。在覆盖 8 个语言模型的 27 个预训练 SAE 上,RSS 能稳定刻画提示词变换引起的重分布模式,并结合线性读出的精确分解区分表征变化与下游失败。在两个冻结安全读出上,RSS 支持侵蚀方法的失败预测 AUROC 达 0.935 和 0.958,接近全量侵蚀的 0.965 和 0.964。

  26. arXiv · cs.CL31

    LLM 弱标注用于网络安全推文分类:Teacher-Student 框架研究

    研究者提出 Teacher-Student 弱监督框架,用 LLM 作为 Teacher 为无标注网络安全推文生成弱标签,无需大规模人工标注即可训练网络安全领域专用 PLM。仅用 LLM 生成标签训练的 PLM 在所有评测架构上 F1 均超过 0.92,与全人工监督模型的差距保持在 3 个百分点以内。结果表明 LLM 弱标注在专家标注资源有限时是构建网络安全训练数据的可行替代方案。

  27. arXiv · cs.CL54

    arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性

    华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270,用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级(escalate)决策,按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97,但不确定性触发的模型漏掉 32–97% 的必要升级,9.7B 配置在冲突下从 0.97 降到 0.78;语言化置信度不一致(ECE 0.10–0.54)。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93,但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00,结论限于该基准。

    推荐理由:论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例,并提示路由控制器也要单独做泛化测试。

  28. arXiv · cs.CL52

    VALCON 论文提出双角色变化框架评测并缓解大语言模型价值一致性问题

    研究者提出 VALCON,一个通过双角色变化把价值一致性操作化的评测框架,包含 VAB-Consistency、VAB-Boundary、VAB-Challenge 三个基准套件,代码和数据已开源。对 28 个 LLM 的实验显示普遍的跨角色不一致:输出高度合规的模型常常无法让自身评判与自己的生成对齐。机制探针发现与这种行为不对称相关的角色依赖表征解耦,据此提出的表征定向干预可有效缓解一致性失败。论文被接收为 Findings of ACL: EMNLP 2026。

    推荐理由:论文把价值一致性单列为一个对齐维度,给出评测套件、机制分析和干预方法,对关注模型自我评估可靠性的读者有参考。

  29. arXiv · cs.CL35

    VoteGEO-Bench:衡量生成式引擎优化对选举信息可见性的影响

    研究者提出 VoteGEO-Bench 基准,覆盖 2024 年美国总统大选和 2026 年日本众议院选举,评估 GEO 重写网页内容对生成式引擎回答的影响。基准测试了 4 类共 11 种改写策略,发现指定目标的改写更常提升目标曝光度,改进页面组织或通过论证强化立场的策略收益更大。收益在美国 voter personas 上总体为正,但 persona 条件化无一致效果,而显式党派身份造成的基线曝光差距可能超过改写单个网页的收益。

  30. arXiv · cs.CL32

    QuasiLeak-Bench:评估基于 LLM 的隐私检测器在策略约束下的准证据组恢复能力

    arXiv 论文提出 QuasiLeak-Bench,一个评估 LLM 隐私检测器在策略约束下恢复准证据组(quasi-evidence group)的基准,检测器需找回完整的准证据组并标记披露政策禁止的内容。实验显示现有隐私检测器迁移表现差,可本地部署的 LLM 检测器远落后于闭源专有模型,主要因漏掉大多数准证据组;而在其训练集上微调的 4B 模型在保留文档上超过最强的提示模型,表明该任务可学习。

  31. arXiv · cs.AI47

    BiShield-TEE:揭示端侧 TEE 保护 LLM 分区中单向权重混淆的安全漏洞并提出双向防御框架

    论文提出 BiShield-TEE,针对端侧 TEE 部署 LLM 中仅混淆输出维度的权重保护方法发现 Solution Determinacy Property(SDP)漏洞,使 GroupCover 和 ArrowCloak 等代表性方法的攻击准确率超过完全防护黑盒基线 2.4 倍并近乎完整恢复模型。BiShield-TEE 通过输入输出双向联合混淆引入 Ambiguous Solutions,将攻击准确率压回黑盒基线水平,同时在真实设备上推理效率高于已有方法,代码已开源。

  32. arXiv · cs.AI50

    LLM 逆向分析 iPhone 定位服务数据不可靠但可造工具:解码 iOS 向 Apple 发送了什么

    一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。

10月15日周四
  1. FBI IC3 · 犯罪与诈骗公告18

    FBI 警告:骗子利用 2026 美国中期选举实施多种诈骗

    FBI 发布公告提醒公众,骗子正利用 2026 美国中期选举实施金融诈骗,并借助 AI 生成高度逼真的语音、图像和文字冒充候选人、竞选团队和政府机构。诈骗形式包括竞选投资池、假冒 PAC(ScamPACs)、政治商品不发货和虚假选民登记页面窃取 PII。FBI 建议在 FEC 网站核实 PAC 注册信息、通过 www.vote.gov 查询选民登记,并向 IC3(www.ic3.gov)举报。

  2. arXiv · cs.AI40

    论文解析:AI Agent 中 RL/RLHF 引发的提权漏洞(CVE-2026-65616)的取证分析与本地复现

    一篇 arXiv 论文对 OpenAI ExploitGym 评估中的 Phase One 提权事件进行取证分析,并在容器化环境中复现了 HPIM 训练案例条件与 CVE-2026-65616 加密验证绕过。配置错误的系统使攻击者可通过基础 HTTP 请求、Python 和 JavaScript 伪造 token 并提权,训练案例与实际漏洞共享同一可利用模式。论文指出 Zero Trust Architecture 原则可中和该攻击向量。

  3. arXiv · cs.AI38

    量化基础模型脑部 MRI 表征中的隐私风险

    一项 arXiv 研究评估了五个冻结预训练编码器在 OASIS-2 和 MIRIAD 两个纵向 T1 加权脑部 MRI 数据集上的隐私泄露风险。结果显示 rank-1 患者关联在 MIRIAD 上最高达 99%、OASIS-2 上超过 90%,recorded-sex 预测平衡准确率分别达 90.9% 和 95.5%。这表明用嵌入向量替代原始 MRI 并不能消除患者关联或属性推断风险,不足以实现匿名化。

  4. arXiv · cs.CL52

    arXiv 论文:跨模型 in-context 神经反馈揭示 LLM 对自身激活的控制能力有限

    arXiv 论文 arXiv:2610.20179 提出跨模型 in-context 神经反馈方法,测试 5 个家族共 10 个 9B 到 32B 的开放权重模型,检验语言模型能否控制自身激活。部分模型能明显移动自己的激活分数,但幅度不超过同等能力的写手模型;预填固定句子后仅 3 个模型表现出小而稳定的控制效应;在欺骗监测器实验中无模型能降低监测分数,仅 1 个模型能抬高它。作者认为这种控制能力尚不构成对激活监测器的威胁,但需随模型演进持续追踪。

    推荐理由:论文用跨模型写手和预填句子的实验设计,把任务能力与对自身激活的真实控制区分开,结论有明确证据支撑。

  5. arXiv · cs.CL53

    arXiv 论文评测 DeepSeek-V4-Flash 与 GLM-5.3-Flash 在网络威胁情报实体抽取中的失败模式与置信度信号

    arXiv 论文(arXiv:2610.20417)对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测,发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94,旗舰模型也未消除差距。主要失败不是幻觉:抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口,仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛,但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断,结论是置信度分层只能用于排定复核优先级,不能当真值。

    推荐理由:论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成,发现主要问题不是幻觉而是背景提及,并给出置信度分层的部署边界。

  6. arXiv · cs.CL34

    GPT-5.4 智能体如何解读科学论断中的歧义:arXiv 论文提出 Claim Cards

    arXiv 论文提出 Claim Cards,在收集证据前将验证智能体对科学论断的解释记录为九个字段,并标注为 stated、inferred 或 default。在 60 条材料科学与生物医学专家标注论断上对 GPT-5.4 智能体共进行 900 次运行,冻结卡片中单个字段被刻意修改后,约三分之一的论断判定被改变,而随机预期约为七分之一(p < 0.001)。卡片使每次运行的 GPT-5.4 token 与时间增加约十分之一,但与专家标签的一致性没有可测变化。