热点事件持续更新

研究：基座模型安全探针可迁移至蒸馏与指令微调模型

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

Marios Tsatsos 等在 arXiv 论文（2610.35586）中报告，在 Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B 四个基座模型上训练的有害请求检测线性探针，无需改动即可直接用于对应的 DeepSeek-R1 蒸馏模型和指令微调模型。尽管这些后继模型使区分安全与不安全提示的方向旋转了 17°–35°，探针在 XSTest 上的 AUC 仅变化 -0.011 到 +0.027。论文称，在 XSTest 上该探针比纯文本分类器高 0.15–0.20 AUC，但在未用于训练的独立评测集 OR-Bench 上优势缩至 0.03–0.20，且会误标 29%–42% 听起来有害实则无害的提示词。结论限于所测的这些模型家族。

AI 根据报道生成 · 2 小时前更新

最新进展10月26日 23:15

线性探针在基座模型蒸馏与指令微调后仍可迁移

报道时间线

沿着报道，了解事件的不同侧面。

10月26日

23:15
arXiv · cs.CL
线性探针在基座模型蒸馏与指令微调后仍可迁移
研究测试了 Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B 四个基座模型上训练的有害请求检测线性探针能否直接迁移。尽管 DeepSeek-R1 蒸馏推理模型和指令微调模型使安全方向旋转 17°–35°，XSTest 上 AUC 仅变化 -0.011 到 +0.027。探针在 XSTest 上比纯文本分类器高 0.15–0.20 AUC，但在 OR-Bench 上优势缩至 0.03–0.20，且会误标 29%–42% 听起来有害实则无害的提示词。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。