GitHub · 灵魂体仓库·· 11 天前精选AI 评分57
jagath-24 开源 multi-provider-llm-gateway v2,统一 Groq 与 Gemini 的聊天 API 路由
jagath-24/multi-provider-llm-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jagath-24/multi-provider-llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
jagath-24 发布 Distributed API Gateway v2,把原内部服务网关扩展为多厂商 LLM 控制面,提供覆盖 Groq 和 Gemini 的统一聊天 API,项目地址 https://github.com/jagath-24/multi-provider-llm-gateway。支持 round-robin、cheapest-first、fastest-first 和 fallback-on-failure 路由策略,每个厂商有 CLOSED/OPEN/HALF_OPEN 熔断器,遵循 Resilience4j 模式,可迁移到 Spring Boot。附带 MySQL 持久化、提供方健康指标、故障模拟测试和 React 运维控制台,API 密钥仅保存在服务端适配器中。
推荐理由
开源项目把内部网关扩展为多厂商 LLM 控制面,给出路由策略、熔断和运维端点的具体实现,做法可迁移到自建服务。
来源:GitHub · 灵魂体仓库 · github.com