跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分53

ankit373/judge-robustness 开源:用固定攻击套件测试 RL verifier 的鲁棒性

ankit373/judge-robustness

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ankit373/judge-robustness

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ankit373 在 GitHub 开源 judge-robustness 工具,用固定攻击套件对已部署的 RL verifier 跑测试,统计 verifier 对错误答案给出奖励的误报率。工具内含约 6 类攻击家族(各约 10 个确定性变体),用独立 oracle 判定答案正误,报告 FP 率、满分错误数及 Wilson 95% 区间,默认 5 个数据集、50 任务、3 个 target 的完整扫描在笔记本上约 10 秒跑完。

来源:GitHub · 灵魂体仓库 · github.com