Reddytheer 开源 judge-check 验证 LLM 评审能否替代人工 QA
热点事件持续更新
Reddytheer 开源 judge-check 验证 LLM 评审能否替代人工 QA
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Reddytheer 在 GitHub 开源 judge-check 工具，用于逐条判定各 QA 准则可由 LLM 评审自动化还是需保留人工复核，并输出带 prompt 哈希和数据集指纹的版本化验证报告。工具采用 MIT 许可。 工作方式是输入评分标准、人工标注集和 LLM 评审模型，对每条准则给出自动化或人工判定。示例为合成数据的虚构银行 AML 告警分诊，30 个案例 240 条标注，8 条准则中 3 条达标可自动化、5 条留人工；门槛包括 kappa≥0.80、Critical 准则假通过率≤2% 且注入攻击下零翻转。工具内置针对评审模型本身的攻击探针（如评审注入、权威伪装），完整带探针运行约 110 次评审调用；示例运行使用自身首轮草稿标注，可离线免 API key 回放。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 10:31
Reddytheer 开源 judge-check：用数据验证 LLM 评审能否替代人工 QA报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库精选Reddytheer 开源 judge-check：用数据验证 LLM 评审能否替代人工 QA
作者开源了 judge-check 工具，用评分标准、人工标注集和 LLM 评审逐条判定每个 QA 准则是可自动化还是需人工复核，并输出带 prompt 哈希和数据集指纹的版本化验证报告。示例是合成数据的银行 AML 告警分诊，30 个案例 240 条标注，8 条准则中 3 条达标可自动化、5 条留人工；判定门槛包括 kappa≥0.80、Critical 准则假通过率≤2% 且注入攻击下零翻转。工具还内置针对评审模型本身的攻击探针（评审注入、权威伪装等），离线回放可免 API key 运行，完整带探针运行约 110 次评审调用。仓库地址 https://github.com/Reddytheer/judge-check ，MIT 许可。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。