跳到正文
我的
GitHub · 灵魂体仓库·· 3 小时前AI 评分33

Leyline:成本优化的 LLM 负载均衡器、语义路由与网关(GitHub valefront/valefront)

valefront/valefront

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/valefront/valefront

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

valefront 开源了 Leyline,一个集 LLM 负载均衡、语义路由与网关于一体的工具,将 Gemini、HuggingFace、OpenAI、OpenRouter、Azure OpenAI 及 Ollama、LM Studio 等云端与本地模型统一为单一 API。它提供 provider failover、限流管理、流中断恢复,语义路由器按复杂度(simple/medium/complex)和领域分类请求并映射到 2B/4B/12B 模型层级。项目兼容 OpenAI SDK(/v1/chat/completions),内置 React Dashboard,可通过 npm install @valefront/valefront 安装。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。