ankit373 开源 judge-robustness:用固定攻击套件测 RL 验证器鲁棒性
热点事件历史事件
ankit373 开源 judge-robustness:用固定攻击套件测 RL 验证器鲁棒性
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
ankit373 在 GitHub 开源 judge-robustness 工具,用固定攻击套件对已部署的 RL verifier 跑测试,统计其对错误答案给出奖励的误报率(FP 率),并给出满分错误数和 Wilson 95% 区间。 工具内含约 6 类攻击家族,各约 10 个确定性变体,用独立 oracle 判定答案正误;默认 5 个数据集、50 任务、3 个 target 的完整扫描在笔记本上约 10 秒跑完。真实 judge 通过 JudgeClient 接口(targets/judge.py)接入,仓库本身不调用任何真实 judge、不使用 API key,其中的 mock judge 只是管道而非测量结果;攻击字符串为固定且无害的内容,不应向其输入不可信文本。
AI 根据报道生成 · 9 天前更新
最新进展11月10日 18:53
ankit373/judge-robustness 开源:用固定攻击套件测试 RL verifier 的鲁棒性报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- GitHub · 灵魂体仓库ankit373/judge-robustness 开源:用固定攻击套件测试 RL verifier 的鲁棒性
ankit373 在 GitHub 开源 judge-robustness 工具,用固定攻击套件对已部署的 RL verifier 跑测试,统计 verifier 对错误答案给出奖励的误报率。工具内含约 6 类攻击家族(各约 10 个确定性变体),用独立 oracle 判定答案正误,报告 FP 率、满分错误数及 Wilson 95% 区间,默认 5 个数据集、50 任务、3 个 target 的完整扫描在笔记本上约 10 秒跑完。