GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分61
IIT Madras 提出 rubric-only 探针，质疑 LLM-as-a-Judge 基于评分标准推理的假设
cerai-iitm/Judging-LLM-as-a-Judge
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cerai-iitm/Judging-LLM-as-a-Judge
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
IIT Madras CeRAI 团队（EMNLP 2026 论文配套 GitHub 仓库）检验 LLM-as-a-Judge 是否真的依据评分标准推理：仅用 rubric 文本训练的探针分类器就能预测 Qwen2.5-7B-Instruct 评审的结论，HealthBench 上平衡准确率达 0.80–0.88。反事实实验中，反转回答仅 37.7% 的样本对上评审如期翻转，反转评分标准时仅 16.8%（Gemma）/ 32.2%（LLaMA），并开源了完整探针、扰动与分析脚本。
推荐理由
IIT Madras 团队用只看评分标准的探针分类器复现判断结果，并给出反事实扰动数据，方法可复用。
来源：GitHub · 去对齐工具与仓库 · github.com