跳到正文
GitHub · 去对齐工具与仓库·· 15 天前精选AI 评分67

llm-gateway:Go 编写的 OpenAI 兼容多上游聚合网关开源

foxy1402/llm-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/foxy1402/llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

foxy1402 在 GitHub 发布 llm-gateway,一个用 Go 编写的低依赖网关,把多个免费或自定义 LLM 上游聚合到单个 OpenAI 兼容 API(https://github.com/foxy1402/llm-gateway)。调用方按 OpenAI API 方式使用 /v1/chat/completions、/v1/completions、/v1/responses、/v1/embeddings 等端点,请求在 provider 池中轮转并在失败时切换,支持 round-robin、加权轮询、优先级 failover 和随机四种策略。

推荐理由

README 详细说明了 Go 网关的轮询策略、冷却与智能修复机制,还给出闲置内存等可核对的部署数据,方便自行搭建评估。

来源:GitHub · 去对齐工具与仓库 · github.com