开源项目 llm-eval-observatory 发布：用 GitHub Actions 夜间评测 LLM 自动化可信度

Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory，一个持续运行的 LLM 评测仪表盘：定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测（KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差），结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现，含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ（目前 0.94 到 1.0）；每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成，项目 MIT 许可。