arXiv · cs.AI· Jonathan F. Jao·· 2 天前精选AI 评分52
Value Probes：用学到的价值函数改进 beam-search 红队审计
Value Probes: Learned Value Functions for Beam-Search Red Teaming
来源与原文
arXiv · cs.AI
作者：Jonathan F. Jao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38526v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Jonathan F. Jao 在 arXiv 发布论文，提出将语言模型自动红队审计视为马尔可夫决策过程，用 beam search 替代单纯依赖 auditor 模型，并通过目标模型激活的线性探针（Value Probes）估计折扣未来奖励作为价值函数。在 18 种目标行为和 3 个模型规模上，峰值审计分数较 token-matched 标准方法提升约 50%，且 Value Probes 可用更小模型的 off-policy 数据拟合，消融显示其成本更低且性能相当。
推荐理由
论文把红队审计建模为 MDP，用目标模型激活的线性探针估价值函数引导 beam search，并给出 18 种行为的 50% 提升数据。
来源：arXiv · cs.AI · arxiv.org