G-llm-benchmark:Strata 与 Claude Haiku、Sonnet、Opus 编码智能体的成本×质量基准测试
GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准,对比本地运行的 Strata(独立运行或由 Opus 驱动)与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好,所有参赛者通过了 smoke runs,validate、plan、run、collect 和 smoke 等状态命令可用,依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物,完整报告尚未出炉。