pytest-probability 发布：面向 LLM 非确定性代码的多次采样 pytest 插件

xu-hao 在 GitHub 发布 pytest-probability，一个针对 LLM 函数等非确定性代码的 pytest 插件，将每个用例运行 N 次并报告经验通过率，使 7/10 这类 FLAKY 结果不再藏在绿色通过标记里。插件支持基准驱动的 prompt 开发、参数化 A/B 对比（含配对 bootstrap 区间与显著性检验）、min_rate 通过率门槛、延迟分位数门槛、pass^k 与 pass@k 指标、成本与 token 统计、--prob-stop 提前终止及 JSON 报告，可配合 pytest-xdist 并行运行；仅需 Python 3.11+ 和 pytest 7.4+，通过 pip install pytest-probability 安装。