GitHub · 灵魂体仓库·· 20 天前精选AI 评分59
steadybatch 开源：为 OpenAI、Gemini、Anthropic 与 vLLM 批量 API 补上漏行重试和结果校验
kotwal-itpro/steadybatch
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kotwal-itpro/steadybatch
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源 steadybatch 工具，用于可靠地通过各厂商 Batch API 跑数百万条 LLM 请求，价格约为常规一半。它为每个请求分配稳定 ID 并检查是否全部返回，按 JSON Schema 校验响应，坏行单独重试而不重跑整批，进度写入 SQLite 以便崩溃后续跑，并按发送顺序返回结果。支持 OpenAI Batch API、Gemini batch mode、Anthropic Message Batches API 和自托管 vLLM，AWS Bedrock 在路线图中；仓库还附一个跨厂商批量 API 的开放基准 harness，比较成本、耗时、失败模式和可复现性。项目尚不在 PyPI，需从 GitHub 安装，Apache-2.0 许可。
推荐理由
原文讲清了批量 API 常见的漏行、坏 JSON、不可复现等问题及逐行重试与断点续跑的处理方法，可迁移到大规模结构化提取任务。
来源：GitHub · 灵魂体仓库 · github.com