GitHub · 去对齐工具与仓库·· 9 天前精选AI 评分55
roylez 开源 LLM Gateway:Elixir 编写的多供应商 LLM 代理网关
roylez/llmgateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/roylez/llmgateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
roylez 在 GitHub 发布 LLM Gateway,一个用 Elixir 编写的 LLM 供应商代理,接受 OpenAI 或 Anthropic 格式请求并自动完成 API 格式互转。支持 OpenAI、Anthropic、OpenRouter、GitHub Copilot、Ollama 等供应商,提供 5xx、超时或限流时的跨供应商故障转移链、虚拟 API 密钥的按模型访问控制、来自 llmdb 的模型元数据、Anthropic 缓存指标归一化、SSE 流式转换,以及 DeepSeek DSML 标记到结构化工具调用的清理;GitHub Copilot 采用全自动设备码授权,支持 Docker 部署和 Elixir Library Mode 直接调用。
推荐理由
README 详细给出了多供应商路由、故障转移链和 API 格式互转的配置方式,可直接照着部署一套自托管网关。
来源:GitHub · 去对齐工具与仓库 · github.com