跳到正文
热点事件历史事件

ankit373 开源 judge-robustness:用固定攻击套件测 RL 验证器鲁棒性

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

ankit373 在 GitHub 开源 judge-robustness 工具,用固定攻击套件对已部署的 RL verifier 跑测试,统计其对错误答案给出奖励的误报率(FP 率),并给出满分错误数和 Wilson 95% 区间。 工具内含约 6 类攻击家族,各约 10 个确定性变体,用独立 oracle 判定答案正误;默认 5 个数据集、50 任务、3 个 target 的完整扫描在笔记本上约 10 秒跑完。真实 judge 通过 JudgeClient 接口(targets/judge.py)接入,仓库本身不调用任何真实 judge、不使用 API key,其中的 mock judge 只是管道而非测量结果;攻击字符串为固定且无害的内容,不应向其输入不可信文本。

AI 根据报道生成 · 9 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. GitHub · 灵魂体仓库
    ankit373/judge-robustness 开源:用固定攻击套件测试 RL verifier 的鲁棒性

    ankit373 在 GitHub 开源 judge-robustness 工具,用固定攻击套件对已部署的 RL verifier 跑测试,统计 verifier 对错误答案给出奖励的误报率。工具内含约 6 类攻击家族(各约 10 个确定性变体),用独立 oracle 判定答案正误,报告 FP 率、满分错误数及 Wilson 95% 区间,默认 5 个数据集、50 任务、3 个 target 的完整扫描在笔记本上约 10 秒跑完。