GitHub · 去对齐工具与仓库·· 15 天前精选AI 评分67
llm-gateway:Go 编写的 OpenAI 兼容多上游聚合网关开源
foxy1402/llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/foxy1402/llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
foxy1402 在 GitHub 发布 llm-gateway,一个用 Go 编写的低依赖网关,把多个免费或自定义 LLM 上游聚合到单个 OpenAI 兼容 API(https://github.com/foxy1402/llm-gateway)。调用方按 OpenAI API 方式使用 /v1/chat/completions、/v1/completions、/v1/responses、/v1/embeddings 等端点,请求在 provider 池中轮转并在失败时切换,支持 round-robin、加权轮询、优先级 failover 和随机四种策略。
推荐理由
README 详细说明了 Go 网关的轮询策略、冷却与智能修复机制,还给出闲置内存等可核对的部署数据,方便自行搭建评估。
来源:GitHub · 去对齐工具与仓库 · github.com