GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分60
orchestrator-ab:实测 Claude 各模型担任编码智能体流水线编排者的表现
fortil/orchestrator-ab
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/fortil/orchestrator-ab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
fortil 发布 orchestrator-ab,一个 A/B 测试工具,用来测量哪个 Claude 模型、在哪个 effort 档位更适合担任编码智能体流水线的编排者。示例运行共 18 次,Opus 在 low effort 下每次有效运行都完整跑完流水线且保持静默,seat token 约为另一条纪律完整的 Haiku high 的三分之一;但按 API 计费 Haiku 的 cache read 为 $0.05/MTok、Opus 为 $0.20,Haiku high 每次运行的编排成本反而约为三倍便宜。作者称 effort 比模型更决定纪律性,高 effort 每次都跑完整流水线,medium 为三分之二,low 为三分之一。
推荐理由
作者用同一套多智能体流水线实测 Claude 各模型在不同 effort 下的编排表现,给出了绕过流水线与 seat token 成本的对照数据。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。