GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分56
OpenLLM Gateway 开源自托管 LLM 网关，支持多提供商聚合与 OpenAI/Anthropic 协议兼容
jackclub-cn/openllm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jackclub-cn/openllm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
jackclub-cn 在 GitHub 开源了 OpenLLM Gateway，一个自托管 LLM 网关，提供多提供商聚合、模型路由、访问密钥、用量统计和管理控制台。后端为 Rust + Axum，数据存 SQLite，前端嵌入单个可执行文件，提供 Windows、Linux、macOS 预编译二进制；兼容 OpenAI /v1/chat/completions、/v1/responses、/v1/completions、/v1/embeddings 和 Anthropic Messages 协议并支持跨协议双向转换，支持多密钥故障切换、会话亲和路由、每日 Token/费用额度与请求日志查询导出。
推荐理由
README 讲清了网关的多上游聚合、协议互转和密钥限流设计，想自托管统一 LLM 入口的读者可以按需参考部署方式。
来源：GitHub · 去对齐工具与仓库 · github.com