跳到正文
GitHub · 灵魂体仓库·· 3 天前AI 评分49

sehgalnamit/enterprise-llm-gateway-router:与提供商无关的开源 LLM 网关路由器

sehgalnamit/enterprise-llm-gateway-router

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/sehgalnamit/enterprise-llm-gateway-router

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 enterprise-llm-gateway-router 是一个与提供商无关的 LLM 网关,核心包括 Pydantic schema 合约校验、独立的 circuit breaker 故障切换和基于 Redis + embedding 余弦相似度的语义缓存。系统通过 confidence 门控的 TypeSafe Jev 评估器加 LLM-jury 兜底做跨提供商一致性检查,并接入 CI 回归门。整套系统可经 MockProvider 完全离线运行、零 API key,内置 OpenAI / GCP Vertex AI / Ollama 适配器,凭据存在时自动激活。

来源:GitHub · 灵魂体仓库 · github.com