arXiv · cs.CL· Marios Tsatsos·· 17 小时前AI 评分45
线性探针在基座模型蒸馏与指令微调后仍可迁移
Linear Probes Transfer from Base to Distilled Language Models despite Rotation
来源与原文
arXiv · cs.CL
作者：Marios Tsatsos
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.35586v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究测试了 Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B 四个基座模型上训练的有害请求检测线性探针能否直接迁移。尽管 DeepSeek-R1 蒸馏推理模型和指令微调模型使安全方向旋转 17°–35°，XSTest 上 AUC 仅变化 -0.011 到 +0.027。探针在 XSTest 上比纯文本分类器高 0.15–0.20 AUC，但在 OR-Bench 上优势缩至 0.03–0.20，且会误标 29%–42% 听起来有害实则无害的提示词。
来源：arXiv · cs.CL · arxiv.org