AIHOT · 精选· noreply@aihot.news (OpenAI:Alignment 研究博客)·· 2 天前精选AI 评分55
OpenAI 自 GPT-5.6 起部署激活分类器作为前沿模型安全监控层
OpenAI 训练并部署激活分类器作为前沿模型安全监控层
来源与原文
AIHOT · 精选
作者:noreply@aihot.news (OpenAI:Alignment 研究博客)
发布时间:(北京时间)
阅读原始来源 · aihot.news ↗完整链接与内容说明
https://aihot.news/items/wlmiqh13694tqabyvu6nzvlrs
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
OpenAI 自 GPT-5.6 起在最强模型的内部和外部流量上部署激活分类器(probes),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示 probes 比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好;但需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。
推荐理由
原文给出激活分类器在实时拦截、越狱鲁棒性和检查点迁移上的实测结论,也点明需重训和只能覆盖已知违规的局限。
来源:AIHOT · 精选 · aihot.news
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。