GitHub · 去对齐工具与仓库·· 7 天前精选AI 评分63
pizixi 开源 LLM Relay 轻量级 LLM 网关,支持三协议互转与多上游路由
pizixi/llmrelay
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pizixi/llmrelay
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
pizixi 在 GitHub 发布 LLM Relay,一个轻量级 LLM 网关,对外提供 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种接口并互转路由。支持多上游负载均衡、模型别名加权分配、compatible/strict 桥接模式、SSE 流式转换、多 API Key 轮询与 429/502/503/504 自动重试、每上游独立 SOCKS5 出口,以及基于 SearXNG、DuckDuckGo Lite 或 Tavily 的 hosted search 自动回退。
推荐理由
原文完整给出了协议桥接矩阵、路由规则和搜索回退的实现细节,读者可以据此评估这个网关是否适配自己的多上游部署场景。
来源:GitHub · 去对齐工具与仓库 · github.com