跳到正文
GitHub · 去对齐工具与仓库·· 9 天前精选AI 评分55

roylez 开源 LLM Gateway:Elixir 编写的多供应商 LLM 代理网关

roylez/llmgateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/roylez/llmgateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

roylez 在 GitHub 发布 LLM Gateway,一个用 Elixir 编写的 LLM 供应商代理,接受 OpenAI 或 Anthropic 格式请求并自动完成 API 格式互转。支持 OpenAI、Anthropic、OpenRouter、GitHub Copilot、Ollama 等供应商,提供 5xx、超时或限流时的跨供应商故障转移链、虚拟 API 密钥的按模型访问控制、来自 llmdb 的模型元数据、Anthropic 缓存指标归一化、SSE 流式转换,以及 DeepSeek DSML 标记到结构化工具调用的清理;GitHub Copilot 采用全自动设备码授权,支持 Docker 部署和 Elixir Library Mode 直接调用。

推荐理由

README 详细给出了多供应商路由、故障转移链和 API 格式互转的配置方式,可直接照着部署一套自托管网关。

来源:GitHub · 去对齐工具与仓库 · github.com