ParEvalLayer 开源：用部分预算的 LLM Agent 评测结果支撑升降级决策

Wei-Jung Huang 和 Bonan Shen 发布 ParEvalLayer 仓库（MIT 许可），配套论文 When Partial LLM-Agent Evaluations Support a Decision。工具读取两个 Agent 在相同任务上的成对打分 CSV，按设定的改进阈值经 bootstrap 尾部检验输出 promote、reject 或 abstain 决策记录，并可通过 --budget-caps 回放部分评测预算下的决策。仓库含 OSWorld-Verified 与 Terminal-Bench 紧凑回放数据，AppWorld、SWE-bench 和 tau-bench 需另行获取；作者明确说明当前证据不支持 anytime-valid 在线停止规则或普适的预算削减保证。