跳到正文
GitHub · 去对齐工具与仓库·· 2 小时前AI 评分46

eval_leaderboard:一个用于对比 Coding Harness 与模型表现的 Elixir/OTP CLI 基准排行榜仓库

rizafahmi/eval_leaderboard

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/rizafahmi/eval_leaderboard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 eval_leaderboard 提供交互式排行榜,用统一的提示词和任务让各 Coding Harness + 模型组合在 Elixir/OTP 中用 outside-in TDD 构建命令行 HTTP 压测工具 ./cb,并按 S1–S7 切片逐步验收。任务要求包括 5 秒起跑窗口(间隔 ≥100 ms、最多 50 次启动)、单请求 2 秒超时、严格 HTTPS 证书校验、流式丢弃响应体、p50/p95 延迟统计及 Ctrl-C 优雅退出(exit code 130)。目前数据集含 12 条运行记录(10 条已发布,覆盖 Antigravity、Codex CLI、Pi 与 ZCode),详情页展示 token 用量、缓存命中率及按 2026 与 2027 价格估算的成本对比。

来源:GitHub · 去对齐工具与仓库 · github.com