跳到正文
GitHub · 灵魂体仓库·· 17 天前精选AI 评分55

Swarms 开源低开销 LLM 网关 RouteHub,导入速度较 litellm 快约 190 倍

The-Swarm-Corporation/RouteHub

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/The-Swarm-Corporation/RouteHub

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

The-Swarm-Corporation 在 GitHub 发布 RouteHub,一个基于官方 OpenAI SDK 的 LLM 网关,支持 OpenAI、Anthropic、Gemini、Groq、DeepSeek、OpenRouter、Ollama、vLLM 等 20 多家提供商。官方数据显示在 macOS Python 3.12 环境下,对比 litellm 1.76.1,导入时间从 1,027 ms 降到 5.5 ms(约 190 倍),每次调用网关开销 0.004 ms 对 0.74 ms,安装依赖 20 个对 58 个;Claude 走原生 Messages API 并翻译 prompt caching、thinking、工具调用和结构化输出。

推荐理由

README 给出了与 litellm 逐项对照的导入时间、每调用开销和依赖数量数据,读者可以据此评估这个轻量 LLM 网关的实际收益。

来源:GitHub · 灵魂体仓库 · github.com