Reddytheer 开源 judge-check：用数据验证 LLM 评审能否替代人工 QA

作者开源了 judge-check 工具，用评分标准、人工标注集和 LLM 评审逐条判定每个 QA 准则是可自动化还是需人工复核，并输出带 prompt 哈希和数据集指纹的版本化验证报告。示例是合成数据的银行 AML 告警分诊，30 个案例 240 条标注，8 条准则中 3 条达标可自动化、5 条留人工；判定门槛包括 kappa≥0.80、Critical 准则假通过率≤2% 且注入攻击下零翻转。工具还内置针对评审模型本身的攻击探针（评审注入、权威伪装等），离线回放可免 API key 运行，完整带探针运行约 110 次评审调用。仓库地址 https://github.com/Reddytheer/judge-check ，MIT 许可。