跳到正文
我的
GitHub · 灵魂体仓库·· 2 天前精选AI 评分56

Relay 开源:Rust 单二进制自托管 LLM API 网关

stoneaigc/Relay

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/stoneaigc/Relay

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

stoneaigc 在 GitHub 开源 Relay,一个 Rust 单二进制自托管 LLM API 网关,把多家供应商收敛成一个 OpenAI / Anthropic 兼容入口。支持双协议互转、六种负载策略、故障转移与熔断、语义缓存、token 计费与请求链路追踪,内置用户门户与运营后台。提供在线脚本、离线包、Docker Compose 等安装方式,自测基准显示 chat 全链路重路径约 720 RPS、P50 4.4ms,持续 4 万+ 请求后进程内存约 29MB。

推荐理由

原文给出功能清单、安装方式和自测基准数据,读者可以据此判断这个自托管 LLM 网关是否适合自建场景。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。