GitHub · 去对齐工具与仓库·· 20 天前AI 评分47
self-healing-llm-gateway:本地优先的 OpenAI 兼容 LLM 网关与可靠性控制面
devgouravmax123/self-healing-llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/devgouravmax123/self-healing-llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 self-healing-llm-gateway 发布,这是一个基于 Python 3.12、FastAPI、Redis、PostgreSQL、Docker 和 React 构建的本地优先、OpenAI 兼容 LLM 网关,位于客户端与下游推理服务商之间。系统提供多租户 BYOK 凭据管理、Redis 三态熔断器、有界重试/故障转移预算、滑动窗口限流与 SSRF 防御。凭据采用 AES-256-GCM 信封加密,API 密钥仅存 SHA-256 哈希,并通过 Prometheus 与 OpenTelemetry 输出全栈遥测。
来源:GitHub · 去对齐工具与仓库 · github.com