跳到正文
我的
热点事件持续更新

valefront 开源 LLM 负载均衡与语义路由网关 Leyline

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

valefront 在 GitHub 开源了 Leyline(@valefront/valefront,MIT 许可),一个集 LLM 负载均衡、语义路由与网关于一体的工具。它将 Gemini、HuggingFace、OpenAI、OpenRouter、Azure OpenAI 等云端模型与 Ollama、LM Studio 等本地模型统一为单一 API,并提供 provider failover、限流管理和流中断恢复。 其语义路由器按请求复杂度(simple/medium/complex)和领域分类,并映射到 2B/4B/12B 模型层级以优化成本。项目兼容 OpenAI SDK(/v1/chat/completions),内置 React Dashboard,可通过 npm install @valefront/valefront 安装。压缩功能默认关闭,需另行安装 Python 包 headroom-ai。

AI 根据报道生成 · 42 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. GitHub · 灵魂体仓库
    Leyline:成本优化的 LLM 负载均衡器、语义路由与网关(GitHub valefront/valefront)

    valefront 开源了 Leyline,一个集 LLM 负载均衡、语义路由与网关于一体的工具,将 Gemini、HuggingFace、OpenAI、OpenRouter、Azure OpenAI 及 Ollama、LM Studio 等云端与本地模型统一为单一 API。它提供 provider failover、限流管理、流中断恢复,语义路由器按复杂度(simple/medium/complex)和领域分类请求并映射到 2B/4B/12B 模型层级。项目兼容 OpenAI SDK(/v1/chat/completions),内置 React Dashboard,可通过 npm install @valefront/valefront 安装。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。