跳到正文
GitHub · 灵魂体仓库·· 22 天前精选AI 评分63

LLooM:单个 Rust 二进制实现的自托管 LLM 路由网关开源

citrus-dot/LLooM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/citrus-dot/LLooM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

citrus-dot 在 GitHub 开源了 LLooM,一个自托管 LLM 路由网关,单个 Rust 二进制即完成路由、计价、缓存与安全,无需 Docker 和外部数据库。

推荐理由

作者是项目方本人,正文给出路由打分、预算分层、语义缓存阈值等具体实现细节,可按需复用为自托管 LLM 网关。

来源:GitHub · 灵魂体仓库 · github.com