跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分66

lu8010252 开源 llm-proxy 转发网关,支持多渠道加权分组与失败自动切换

lu8010252/llm-proxy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/lu8010252/llm-proxy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 lu8010252 发布 llm-proxy,一个纯转发的 LLM 网关,支持 SSE 流式响应、日志面板,并可将多个免费模型 API 挂在同一虚拟模型名下按权重分流。渠道返回 429 或 5xx 时自动切换下一个渠道重试,额度超限可自动禁用并按固定时长或每日固定时间恢复,支持 ntfy 失败通知。提供 Docker 镜像(amd64/arm64/armv7)和 Node.js(>=18)两种部署方式,配置可在 /admin/ 页面热加载修改,内置 OpenAI、DeepSeek、Moonshot、千问、智谱 GLM、MiniMax、OpenRouter、Groq 等 OpenAI 兼容接口的 baseUrl 参考。

推荐理由

这是一个可直接部署的开源 LLM 转发网关,多渠道加权分组和失败自动切换的做法对自建 API 网关有参考价值。

来源:GitHub · 灵魂体仓库 · github.com