GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分61
judge-drift-sentinel 开源:用冻结人类锚集判定评测分数波动是系统回归还是 judge 漂移
homayoun-safarpour/judge-drift-sentinel
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/homayoun-safarpour/judge-drift-sentinel
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Homayoun Safarpour 在 GitHub 发布 judge-drift-sentinel 工具,通过冻结的人类标注锚集和 Cohen's kappa,把 eval 分数波动归因为系统变化、judge 漂移或稳定三种判定,零 LLM 调用、仅标准库实现。示例中 judge 因 -latest 别名被供应商静默更新,kappa 从 0.833 跌至 0.333、25% 锚集标签翻转,被判定为 JUDGE_DRIFT 而非系统回归;工具提供 check、history、import-judgekit 等 CLI,exit 0/3/2 分别对应 STABLE、SYSTEM_CHANGE、JUDGE_DRIFT,可作 CI 质量门,并附带每周锚集重评分的 GitHub Actions 工作流。
推荐理由
作者用冻结的人工标注锚集和 kappa 把评测分数波动归因到系统或 judge,方法可复用到自己的 CI 质量门。
来源:GitHub · 去对齐工具与仓库 · github.com