GitHub · 去对齐工具与仓库·· 20 天前AI 评分51
wOvAN 开源 Go 语言 LLM API 路由反向代理 llm-api-router
wOvAN/llm-api-router
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/wOvAN/llm-api-router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
wOvAN 在 GitHub 发布 llm-api-router,一个基于 Go 的反向代理,可在多个推理后端之间路由 LLM API 请求,同时支持 OpenAI 和 Anthropic 两种 API 协议,零外部依赖。功能包括多后端路由、模型名重映射(如 opus → haiku)、主服务器不可用时自动故障转移、内嵌 Web GUI 运行时配置、SSE 流式响应无缓冲转发,以及基于环形缓冲区(最近 100 条请求)的指标统计(TTFB、解码时间、token 吞吐量)。支持 Docker Compose 部署,最终镜像约 15MB。项目地址:https://github.com/wOvAN/llm-api-router
来源:GitHub · 去对齐工具与仓库 · github.com