GitHub · 灵魂体仓库·· 1 天前精选AI 评分57
Routerly v0.5.3 发布:无数据库的自托管 LLM 路由与控制层
Inebrio/Routerly
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Inebrio/Routerly
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Routerly 发布 v0.5.3,一个位于应用与 LLM 提供商之间的自托管路由与控制层,支持 OpenAI 和 Anthropic 两种 API 格式,客户端只需改 base URL。它提供 11 条可组合路由策略、4 个内置路由配置、全局/路由器/Token 三级预算硬限制、守护栏与 PII 清洗、8 个默认关闭的 token 优化器和路由器间 A/B 实验,配置存于 JSON 文件、无需数据库和 Redis,采用 AGPL-3.0 许可。文末附与 LiteLLM、Bifrost、Portkey 等网关的公开文档对比表。
推荐理由
原文给出 11 条路由策略、预算控制和与 LiteLLM 等网关的对比表,可了解无数据库自托管 LLM 路由层的实际能力边界。
来源:GitHub · 灵魂体仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。