GitHub · 灵魂体仓库·· 18 天前精选AI 评分62
KaletoAI/ai-hub 开源:一个端点聚合多个本地与云端 LLM 和 ComfyUI 后端的反向代理网关
KaletoAI/ai-hub
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/KaletoAI/ai-hub
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
KaletoAI 发布 ai-hub(原 llm-gateway,2026-09-08 更名),一个 OpenAI 兼容的反向代理,把 llama.cpp、vLLM、Ollama、together.ai、OpenRouter 等多个后端聚合成单一端点。网关提供自动发现、统一队列调度与故障转移、虚拟别名、调用排队(parking 代替 503)、多用户密钥与配额、/ui 管理控制台、按请求开关思维链、Claude Code 的 /v1/messages 接入,以及 ComfyUI、Meshy.ai、Tripo3D、RunPod Serverless 的图像与 3D 生成。项目地址 https://github.com/KaletoAI/ai-hub。
推荐理由
把多个本地与云端后端聚合成单一 OpenAI 兼容端点,调度、故障转移和媒体生成的做法可以直接搬去自建网关。
来源:GitHub · 灵魂体仓库 · github.com