stoneaigc 开源 Relay 自托管 LLM API 网关
热点事件观察中
stoneaigc 开源 Relay 自托管 LLM API 网关
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
stoneaigc 在 GitHub 开源了 Relay，一个用 Rust 编写的单二进制自托管 LLM API 网关，可将多家模型供应商收敛为一个 OpenAI/Anthropic 兼容入口。该网关默认零外部依赖，支持双协议互转、六种负载策略、故障转移与熔断、语义缓存、token 计费与请求链路追踪，并内置用户门户与运营后台。 安装提供在线脚本、离线包和 Docker Compose 等方式。作者自测的基准数据显示：chat 全链路重路径约 720 RPS、P50 延迟 4.4ms，持续 4 万+ 请求后进程内存约 29MB。
AI 根据报道生成 · 9 小时前更新
最新进展11月3日 23:27
Relay 开源：Rust 单二进制自托管 LLM API 网关报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- GitHub · 灵魂体仓库精选Relay 开源：Rust 单二进制自托管 LLM API 网关
stoneaigc 在 GitHub 开源 Relay，一个 Rust 单二进制自托管 LLM API 网关，把多家供应商收敛成一个 OpenAI / Anthropic 兼容入口。支持双协议互转、六种负载策略、故障转移与熔断、语义缓存、token 计费与请求链路追踪，内置用户门户与运营后台。提供在线脚本、离线包、Docker Compose 等安装方式，自测基准显示 chat 全链路重路径约 720 RPS、P50 4.4ms，持续 4 万+ 请求后进程内存约 29MB。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。