pizixi 开源 LLM Relay 轻量级 LLM 网关,支持三协议互转与多上游路由
pizixi 在 GitHub 发布 LLM Relay,一个轻量级 LLM 网关,对外提供 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种接口并互转路由。支持多上游负载均衡、模型别名加权分配、compatible/strict 桥接模式、SSE 流式转换、多 API Key 轮询与 429/502/503/504 自动重试、每上游独立 SOCKS5 出口,以及基于 SearXNG、DuckDuckGo Lite 或 Tavily 的 hosted search 自动回退。
推荐理由:原文完整给出了协议桥接矩阵、路由规则和搜索回退的实现细节,读者可以据此评估这个网关是否适配自己的多上游部署场景。