GitHub · 灵魂体仓库·· 2 小时前精选AI 评分58
开源项目 Lora Gateway 发布:用一套自托管网关统一接入 20 多家 LLM 供应商
lobirus/lora-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lobirus/lora-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
lobirus 发布开源自托管网关 Lora Gateway,在 Together AI、OpenAI、OpenRouter、Anthropic、xAI、Ollama、vLLM 等 OpenAI 或 Anthropic 兼容服务前提供统一 API,路由由 LiteLLM 完成,另加 FastAPI 控制面和 Vue 3 控制台。功能包括模型目录同步、别名、带预算和限流的虚拟 API key、请求日志与成本分析、Playground,以及基于 Whisper、Kokoro 和网关侧 Realtime 管线的开源权重语音端点,公网 HTTPS 实测语音首响 0.9-1.3 秒。
推荐理由
README 完整给出架构、安全设计和语音管线的实测延迟数据,想自建多供应商 LLM 网关的读者可以照着部署并按需裁剪。
来源:GitHub · 灵魂体仓库 · github.com