evalkit 开源：把 LLM 提示词变更变成 CI 评估门槛的工具

talhayme 在 GitHub 开源了 evalkit（llm-eval-harness），一个 LLM 功能评估与发布门槛工具，把提示词变更的效果变成 CI 可阻断的检查项。默认离线运行，无需 API key，全量套件 1 秒内跑完；支持绝对阈值（通过率、准确率、幻觉率、p95 延迟、成本）与基线回归对比，检查失败时以非零退出码阻止合并。groundedness 刻意不用 LLM-as-judge，采用可单测的确定性指标；用例以 JSON 数据形式编写，支持 expect_refusal 标记拒绝类场景；提供 FallbackProvider 处理提供商超时与限流，配套 CI workflow 还包含一个反向检查，确保已知坏的运行必须失败。