跳到正文
  1. arXiv · cs.CL56

    研究追踪 30 个开源模型谱系中谄媚行为从预训练到后训练的形成过程

    一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点,通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度,发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成,监督微调检查点能预测部分、偏好优化检查点预测大部分;Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差,而同底座的另一训练路线兄弟模型只能消除 19%。

    推荐理由:论文用 741 个检查点追踪谄媚行为的形成阶段,指出偏好优化阶段是主要来源,对模型审计有参考价值。

  1. arXiv · cs.CL56

    Manacá-1B-Instruct-2 发布:巴西葡萄牙语模型的可复现安全对齐与 DPO 负结果

    Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2,对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐,SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果,包括训练 reward margin 达 1.0 但自由生成毫无变化的情况;安全性来自经三轮迭代的安全 SFT,安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调,拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比,采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验,其安全区间下界 94.1% 高于全部四个基线的上界。

    推荐理由:论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描,还披露了 LLM 评审静默拒打分的方法学问题,可复现细节齐全。

  1. arXiv · cs.CL53

    研究实测 ChatGPT 健康建议安全性:四国 20 万对话中约五分之一为高风险

    一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话,筛出 15,555 条健康对话做安全评测,约五分之一获高风险评级。风险集中在症状与病情类提问,表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医;加入用户自身上下文后高风险比例上升 13-17 个百分点,约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。

    推荐理由:论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性,发现合成评测可能漏掉的风险模式。

  1. GitHub · 去对齐工具与仓库58

    grasla3 发布 agent-attack-atlas:面向工具调用型智能体的攻击方法评测体系

    GitHub 项目 grasla3/agent-attack-atlas 发布了一套针对工具调用型 LLM 智能体的攻击方法评测体系,收录 8 个攻击类别、188 个带文献出处的方法,并提供配对对照测量框架、确定性判据与先验评分。

    推荐理由:原文给出完整的分类、配对对照测量口径与可离线复算的实测台账,读者可以据此评估智能体攻击方法在同一标准下的可比性。

  2. arXiv · cs.AI53

    BazaarBench:评估 LLM 智能体在去中心化 C2C 市场中的委托安全

    作者推出 BazaarBench,一个用于评估 LLM 智能体安全性的模拟 C2C 市场基准,追踪所有权、物品状况与承诺,结合记录核查与基于量规的 LLM 判断识别五个阶段的六类失败。

    推荐理由:原文给出五个模型在对抗指令下违约与虚报比例的实测数据,可用于评估 LLM 智能体在交易场景中的安全风险。

  3. arXiv · cs.CL57

    arXiv 论文解析 LLM 谄媚性:单一 flip rate 掩盖了什么

    arXiv 论文(arXiv:2610.06522)提出 SycoLens 模块化重放协议,对三家机构的十一个前沿模型进行约 76 万次受控重放,检验用户压力与评测设置如何影响测得的 flip rate。

    推荐理由:论文拆解了单一 flip rate 掩盖的测量依赖,指出不同追问措辞下模型谄媚排名几乎不相关,对评测方法设计有直接参考。

  4. arXiv · cs.CL67

    arXiv 论文:base 模型可借起始 token 线索触发推理,Olmo-3-7B MATH-500 从 42% 升至 78%

    arXiv 论文(arXiv:2610.06851)研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联,发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。

    推荐理由:论文用因果数据干预把推理行为追溯到训练数据,并给出固定起始 token 即可逼近 RL 版本性能的具体数字。

  5. arXiv · cs.AI64

    研究视觉语言模型视觉定位输出的安全对齐缺口

    arXiv 论文 2610.05637 系统研究了视觉语言模型(VLM)视觉定位输出的安全性,将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。

    推荐理由:论文用 15,401 对匹配请求量化了 VLM 在 grounding 输出上比 VQA 更不安全的差距,并给出可复用的微调方法与提升数据。

  6. arXiv · cs.AI61

    arXiv 论文提出拓扑条件后门:语言模型在多智能体环境中插入漏洞

    Keegan Wang 在 arXiv 发布论文(arXiv:2610.05793),微调 Qwen2.5-7B-Instruct 使其根据提示中推断的部署拓扑在代码中插入漏洞。

    推荐理由:论文用 checker、独立 bandit 分析和盲审对照量化了拓扑触发后门,并给出差分审计这一可迁移的检测思路。

  7. arXiv · cs.CL59

    arXiv 论文提出 CAP 指标发现被抑制的 LLM 安全特征

    arXiv 论文(arXiv:2610.05541)提出反事实激活势 CAP,量化被抑制安全特征的潜在激活倾向,并给出两阶段筛选算法 CSFD,从数十万 transcoder 特征中定位候选安全特征。

    推荐理由:论文提出量化被抑制安全特征的 CAP 指标和两阶段筛选算法,实验覆盖 Gemma、Qwen、Llama 五个模型,可作机制可解释性方法的补充。

  1. arXiv · cs.CL59

    Grounding Probe:基于观察者模型隐状态的生成器无关幻觉检测方法

    arXiv 论文提出 Grounding Probe,用观察者语言模型中间层平均池化隐状态的逻辑回归检测 RAG 回答是否基于上下文,观察者只读不生成,与生成器解耦。

    推荐理由:论文提出用观察者模型隐状态检测 RAG 幻觉,与生成器解耦,并给出跨六个生成器的 AUROC 数据。

  1. arXiv · cs.CL60

    StegoMemory 论文揭示智能体记忆可充当跨会话隐蔽隐写信道

    arXiv 论文 arXiv:2610.04589 通过大规模红队测试发现,智能体记忆可被用作跨会话隐蔽隐写信道。研究覆盖 14000 次攻击试验、91 种模型-攻击配置、13 个模型和 7 种隐写方案,20.1% 的试验实现精确恢复,其中 71.4% 同时通过任务完成评分并被监督模型判定为安全,相当于全部试验的 14.4% 在任务级评估下看似普通良性交互。

    推荐理由:论文用 14000 次攻击试验定位出智能体记忆的隐蔽信道瓶颈在写入而非读取,并据此提出记忆完整性应成为安全要求。

  2. arXiv · cs.AI52

    arXiv 论文提出 TPRS 度量:Agent 安全基准的表述方式会显著改变攻击成功率

    论文提出威胁保持表述敏感性(TPRS),测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率(ASR)变化。

    推荐理由:论文提出 TPRS 方法量化基准表述对攻击成功率的影响,用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。

  1. arXiv · cs.CL57

    arXiv 论文 Nautil:训练 LLM 调查员学会何时结案

    论文研究 LLM 调查员能否正确判断证据是否足以结案,提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。

    推荐理由:原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比,可据此评估结案判断这一能力的可训练性。

已经到底了