prompt-builder:OpenRouter 上的 LLM 并行基准竞技场发布
frederico-kluser 在 GitHub 发布 prompt-builder,一个基于 OpenRouter 的 LLM 并行基准竞技场,提供 Web、CLI 和 MCP 服务器三种界面,支持比较多个模型、测试多个提示词版本和让提示词自动迭代三种模式。裁判按参考答案打分(resolve/parcial/não),默认用 TypeSafe 的 Jev 决策模型并将低置信度结果升级给 LLM 裁判,赛后 finalists 两两对决得出排名,全程经 SSE 实时显示阶段、verdict 热力图和相对预算的支出。
推荐理由:这个 LLM 基准竞技场用裁判参照答案打分并按角色核算成本,还带 holdout 与显著性检验来决定提示词是否晋升。