跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分59

Estuary:自托管的 Rust 模型网关,统一 OpenAI 与 Anthropic 协议路由

iMMIQ/estuary

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/iMMIQ/estuary

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Estuary 是一个自托管的 Rust 网关,用单个公共监听同时提供 OpenAI 与 Anthropic 客户端协议,覆盖 Chat Completions、Responses、Embeddings、Messages 及 token 计数等 API。它把公共模型名映射到上游模型,按并发、负载、延迟、错误和提示词前缀亲和性路由请求,vLLM 0.25+ 可获得精确 KV-block 亲和性;还提供每节点并发限制、熔断、健康检查、SQLite 配置与中英文管理界面。公共推理监听不做调用方鉴权,需放在可信网络或鉴权代理之后;SQLite 须在本地文件系统,不能放 NFS。

推荐理由

README 写清了路由依据、协议覆盖和部署限制,包括公共监听不鉴权、SQLite 不能放 NFS 等生产注意事项,可作为自建网关的参考。

来源:GitHub · 灵魂体仓库 · github.com