GitHub · 灵魂体仓库·· 19 天前精选AI 评分70
EvalShift 开源 LLM 迁移与回归测试工具链:CLI、SDK 与 GitHub Action
evalshift/evalshift-cli
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/evalshift/evalshift-cli
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
EvalShift 开源了一套面向 AI 智能体的 LLM 迁移与回归测试工具链,CLI 已发布在 PyPI(evalshift),配套采集 SDK evalshift-sdk、GitHub Action(evalshift/evalshift-action@v0)和可选托管服务 api.evalshift.dev。SDK 记录生产环境中智能体的模型调用、工具调用与最终输出并生成黄金测试集,CLI 在新旧两个模型上重放同一测试集,用结构化、语义、LLM-as-judge 和工具调用评分器打分,输出含配对检验、Cohen's d、95% CI 和 Benjamini-Hochberg 校正的单文件 HTML 报告;GitHub Action 可在 PR 上跑评测并按 migration_policy 门禁合并。
推荐理由
原文完整说明了从生产流量采集到回归测试再到 PR 门禁的工具链设计,以及统计方法和隐私边界,方法可直接迁移。
来源:GitHub · 灵魂体仓库 · github.com