GitHub · 灵魂体仓库·· 20 天前精选AI 评分66
lu8010252 开源 llm-proxy 转发网关,支持多渠道加权分组与失败自动切换
lu8010252/llm-proxy
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lu8010252/llm-proxy
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 用户 lu8010252 发布 llm-proxy,一个纯转发的 LLM 网关,支持 SSE 流式响应、日志面板,并可将多个免费模型 API 挂在同一虚拟模型名下按权重分流。渠道返回 429 或 5xx 时自动切换下一个渠道重试,额度超限可自动禁用并按固定时长或每日固定时间恢复,支持 ntfy 失败通知。提供 Docker 镜像(amd64/arm64/armv7)和 Node.js(>=18)两种部署方式,配置可在 /admin/ 页面热加载修改,内置 OpenAI、DeepSeek、Moonshot、千问、智谱 GLM、MiniMax、OpenRouter、Groq 等 OpenAI 兼容接口的 baseUrl 参考。
推荐理由
这是一个可直接部署的开源 LLM 转发网关,多渠道加权分组和失败自动切换的做法对自建 API 网关有参考价值。
来源:GitHub · 灵魂体仓库 · github.com