GitHub · 去对齐工具与仓库·· 5 天前精选AI 评分66
prompt-builder：OpenRouter 上的 LLM 并行基准竞技场发布
frederico-kluser/prompt-builder
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/frederico-kluser/prompt-builder
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
frederico-kluser 在 GitHub 发布 prompt-builder，一个基于 OpenRouter 的 LLM 并行基准竞技场，提供 Web、CLI 和 MCP 服务器三种界面，支持比较多个模型、测试多个提示词版本和让提示词自动迭代三种模式。裁判按参考答案打分（resolve/parcial/não），默认用 TypeSafe 的 Jev 决策模型并将低置信度结果升级给 LLM 裁判，赛后 finalists 两两对决得出排名，全程经 SSE 实时显示阶段、verdict 热力图和相对预算的支出。
推荐理由
这个 LLM 基准竞技场用裁判参照答案打分并按角色核算成本，还带 holdout 与显著性检验来决定提示词是否晋升。
来源：GitHub · 去对齐工具与仓库 · github.com