跳到正文
GitHub · 灵魂体仓库·· 11 天前精选AI 评分57

jagath-24 开源 multi-provider-llm-gateway v2,统一 Groq 与 Gemini 的聊天 API 路由

jagath-24/multi-provider-llm-gateway

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jagath-24/multi-provider-llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

jagath-24 发布 Distributed API Gateway v2,把原内部服务网关扩展为多厂商 LLM 控制面,提供覆盖 Groq 和 Gemini 的统一聊天 API,项目地址 https://github.com/jagath-24/multi-provider-llm-gateway。支持 round-robin、cheapest-first、fastest-first 和 fallback-on-failure 路由策略,每个厂商有 CLOSED/OPEN/HALF_OPEN 熔断器,遵循 Resilience4j 模式,可迁移到 Spring Boot。附带 MySQL 持久化、提供方健康指标、故障模拟测试和 React 运维控制台,API 密钥仅保存在服务端适配器中。

推荐理由

开源项目把内部网关扩展为多厂商 LLM 控制面,给出路由策略、熔断和运维端点的具体实现,做法可迁移到自建服务。

来源:GitHub · 灵魂体仓库 · github.com