跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分62

KaletoAI/ai-hub 开源:一个端点聚合多个本地与云端 LLM 和 ComfyUI 后端的反向代理网关

KaletoAI/ai-hub

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/KaletoAI/ai-hub

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

KaletoAI 发布 ai-hub(原 llm-gateway,2026-09-08 更名),一个 OpenAI 兼容的反向代理,把 llama.cpp、vLLM、Ollama、together.ai、OpenRouter 等多个后端聚合成单一端点。网关提供自动发现、统一队列调度与故障转移、虚拟别名、调用排队(parking 代替 503)、多用户密钥与配额、/ui 管理控制台、按请求开关思维链、Claude Code 的 /v1/messages 接入,以及 ComfyUI、Meshy.ai、Tripo3D、RunPod Serverless 的图像与 3D 生成。项目地址 https://github.com/KaletoAI/ai-hub。

推荐理由

把多个本地与云端后端聚合成单一 OpenAI 兼容端点,调度、故障转移和媒体生成的做法可以直接搬去自建网关。

来源:GitHub · 灵魂体仓库 · github.com