GitHub · 灵魂体仓库·· 3 天前AI 评分49
sehgalnamit/enterprise-llm-gateway-router:与提供商无关的开源 LLM 网关路由器
sehgalnamit/enterprise-llm-gateway-router
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sehgalnamit/enterprise-llm-gateway-router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 enterprise-llm-gateway-router 是一个与提供商无关的 LLM 网关,核心包括 Pydantic schema 合约校验、独立的 circuit breaker 故障切换和基于 Redis + embedding 余弦相似度的语义缓存。系统通过 confidence 门控的 TypeSafe Jev 评估器加 LLM-jury 兜底做跨提供商一致性检查,并接入 CI 回归门。整套系统可经 MockProvider 完全离线运行、零 API key,内置 OpenAI / GCP Vertex AI / Ollama 适配器,凭据存在时自动激活。
来源:GitHub · 灵魂体仓库 · github.com