跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分47

self-healing-llm-gateway:本地优先的 OpenAI 兼容 LLM 网关与可靠性控制面

devgouravmax123/self-healing-llm-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/devgouravmax123/self-healing-llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 self-healing-llm-gateway 发布,这是一个基于 Python 3.12、FastAPI、Redis、PostgreSQL、Docker 和 React 构建的本地优先、OpenAI 兼容 LLM 网关,位于客户端与下游推理服务商之间。系统提供多租户 BYOK 凭据管理、Redis 三态熔断器、有界重试/故障转移预算、滑动窗口限流与 SSRF 防御。凭据采用 AES-256-GCM 信封加密,API 密钥仅存 SHA-256 哈希,并通过 Prometheus 与 OpenTelemetry 输出全栈遥测。

来源:GitHub · 去对齐工具与仓库 · github.com