wyolet 开源自托管 LLM 网关 Relay

wyolet 在 GitHub 开源了 Relay，一个自托管 LLM 网关，以单个 Go 二进制提供 OpenAI 和 Anthropic 兼容端点，支持密钥池、策略、限流和逐请求成本核算。应用只需改 base URL 即可继续用现有 SDK；请求格式不一致时网关做转换，一致时直接透传字节。上游目录涵盖 OpenAI、Anthropic、Gemini、Mistral、xAI、MiniMax、Ollama Cloud 等。 Relay 采用 Apache-2.0 协议，运行在用户自己的基础设施上并使用用户自己的服务商密钥，不发送遥测，支持 Docker、Docker Compose 和 Kubernetes Helm 部署。限制方面：自定义 RBAC 角色这一功能需要许可证文件（离线校验），官方发布的镜像仅支持 linux/amd64。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。