valefront 开源 LLM 负载均衡与语义路由网关 Leyline
先了解这件事
valefront 在 GitHub 开源了 Leyline(@valefront/valefront,MIT 许可),一个集 LLM 负载均衡、语义路由与网关于一体的工具。它将 Gemini、HuggingFace、OpenAI、OpenRouter、Azure OpenAI 等云端模型与 Ollama、LM Studio 等本地模型统一为单一 API,并提供 provider failover、限流管理和流中断恢复。 其语义路由器按请求复杂度(simple/medium/complex)和领域分类,并映射到 2B/4B/12B 模型层级以优化成本。项目兼容 OpenAI SDK(/v1/chat/completions),内置 React Dashboard,可通过 npm install @valefront/valefront 安装。压缩功能默认关闭,需另行安装 Python 包 headroom-ai。
AI 根据报道生成 · 42 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库Leyline:成本优化的 LLM 负载均衡器、语义路由与网关(GitHub valefront/valefront)
valefront 开源了 Leyline,一个集 LLM 负载均衡、语义路由与网关于一体的工具,将 Gemini、HuggingFace、OpenAI、OpenRouter、Azure OpenAI 及 Ollama、LM Studio 等云端与本地模型统一为单一 API。它提供 provider failover、限流管理、流中断恢复,语义路由器按复杂度(simple/medium/complex)和领域分类请求并映射到 2B/4B/12B 模型层级。项目兼容 OpenAI SDK(/v1/chat/completions),内置 React Dashboard,可通过 npm install @valefront/valefront 安装。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。