跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分61

judge-drift-sentinel 开源:用冻结人类锚集判定评测分数波动是系统回归还是 judge 漂移

homayoun-safarpour/judge-drift-sentinel

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/homayoun-safarpour/judge-drift-sentinel

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Homayoun Safarpour 在 GitHub 发布 judge-drift-sentinel 工具,通过冻结的人类标注锚集和 Cohen's kappa,把 eval 分数波动归因为系统变化、judge 漂移或稳定三种判定,零 LLM 调用、仅标准库实现。示例中 judge 因 -latest 别名被供应商静默更新,kappa 从 0.833 跌至 0.333、25% 锚集标签翻转,被判定为 JUDGE_DRIFT 而非系统回归;工具提供 check、history、import-judgekit 等 CLI,exit 0/3/2 分别对应 STABLE、SYSTEM_CHANGE、JUDGE_DRIFT,可作 CI 质量门,并附带每周锚集重评分的 GitHub Actions 工作流。

推荐理由

作者用冻结的人工标注锚集和 kappa 把评测分数波动归因到系统或 judge,方法可复用到自己的 CI 质量门。

来源:GitHub · 去对齐工具与仓库 · github.com