跳到正文
GitHub · 灵魂体仓库·· 2 小时前精选AI 评分58

开源项目 Lora Gateway 发布:用一套自托管网关统一接入 20 多家 LLM 供应商

lobirus/lora-gateway

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/lobirus/lora-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

lobirus 发布开源自托管网关 Lora Gateway,在 Together AI、OpenAI、OpenRouter、Anthropic、xAI、Ollama、vLLM 等 OpenAI 或 Anthropic 兼容服务前提供统一 API,路由由 LiteLLM 完成,另加 FastAPI 控制面和 Vue 3 控制台。功能包括模型目录同步、别名、带预算和限流的虚拟 API key、请求日志与成本分析、Playground,以及基于 Whisper、Kokoro 和网关侧 Realtime 管线的开源权重语音端点,公网 HTTPS 实测语音首响 0.9-1.3 秒。

推荐理由

README 完整给出架构、安全设计和语音管线的实测延迟数据,想自建多供应商 LLM 网关的读者可以照着部署并按需裁剪。

来源:GitHub · 灵魂体仓库 · github.com