llm-judge-eval：基于 LLM 评审员的医学问答评估框架

GitHub 开源项目 llm-judge-eval 构建了一个基于量规的 LLM 评审员，用于给 PubMedQA 医学问答打分，并通过加权 Cohen's κ、已知错误控制集、长度偏差测试等协议与盲评人类标签进行校验。项目从 pqa_labeled 分层抽取 400 道题，在 grounded、closed_book、incomplete、injected_error 四种条件下生成答案，使用 gpt-4o 作为评审（约 $3-6），采用严格 JSON-schema 输出且评审员不知晓条件。评审员、量规、盲标工具和分析管线已建成测试，人工标注正在进行中，完成后结果将发布在 results/。