GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分56
eugene-plexus/gateway 发布 OpenAI 兼容多后端推理网关
eugene-plexus/gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/eugene-plexus/gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
eugene-plexus/gateway 提供一个 OpenAI 兼容端点，统一路由本地与云端后端，支持副本负载均衡、按 modelSlots 分层级联、空闲卸载和按需唤醒。路由表从各 driver 的 /v1/info 自动推导而非手工配置；M6 至 M8 通过单 GPU 双 llama.cpp 副本和跨机实测，控制平面自身开销约 116 ms 每请求（子进程后端为 6 ms）。仓库列出未解决问题包括卸载后短路由窗口和 116 ms 开销未查明，代码以 Apache 2.0 许可开源。
推荐理由
仓库详细公开了路由分层设计和控制平面实测开销与未解决问题，读者可以据此评估这套多后端网关的成熟度。
来源：GitHub · 去对齐工具与仓库 · github.com