GitHub · 灵魂体仓库·· 22 天前精选AI 评分63
LLooM:单个 Rust 二进制实现的自托管 LLM 路由网关开源
citrus-dot/LLooM
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/citrus-dot/LLooM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
citrus-dot 在 GitHub 开源了 LLooM,一个自托管 LLM 路由网关,单个 Rust 二进制即完成路由、计价、缓存与安全,无需 Docker 和外部数据库。
推荐理由
作者是项目方本人,正文给出路由打分、预算分层、语义缓存阈值等具体实现细节,可按需复用为自托管 LLM 网关。
来源:GitHub · 灵魂体仓库 · github.com