EvalShift 开源 LLM 迁移与回归测试工具链:CLI、SDK 与 GitHub Action
EvalShift 开源了一套面向 AI 智能体的 LLM 迁移与回归测试工具链,CLI 已发布在 PyPI(evalshift),配套采集 SDK evalshift-sdk、GitHub Action(evalshift/evalshift-action@v0)和可选托管服务 api.evalshift.dev。SDK 记录生产环境中智能体的模型调用、工具调用与最终输出并生成黄金测试集,CLI 在新旧两个模型上重放同一测试集,用结构化、语义、LLM-as-judge 和工具调用评分器打分,输出含配对检验、Cohen's d、95% CI 和 Benjamini-Hochberg 校正的单文件 HTML 报告;GitHub Action 可在 PR 上跑评测并按 migration_policy 门禁合并。
推荐理由:原文完整说明了从生产流量采集到回归测试再到 PR 门禁的工具链设计,以及统计方法和隐私边界,方法可直接迁移。