跳到正文
我的
GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分60

orchestrator-ab:实测 Claude 各模型担任编码智能体流水线编排者的表现

fortil/orchestrator-ab

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/fortil/orchestrator-ab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

fortil 发布 orchestrator-ab,一个 A/B 测试工具,用来测量哪个 Claude 模型、在哪个 effort 档位更适合担任编码智能体流水线的编排者。示例运行共 18 次,Opus 在 low effort 下每次有效运行都完整跑完流水线且保持静默,seat token 约为另一条纪律完整的 Haiku high 的三分之一;但按 API 计费 Haiku 的 cache read 为 $0.05/MTok、Opus 为 $0.20,Haiku high 每次运行的编排成本反而约为三倍便宜。作者称 effort 比模型更决定纪律性,高 effort 每次都跑完整流水线,medium 为三分之二,low 为三分之一。

推荐理由

作者用同一套多智能体流水线实测 Claude 各模型在不同 effort 下的编排表现,给出了绕过流水线与 seat token 成本的对照数据。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。