跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分49

mosenet-labs 开源 llmproxy:基于 Pingora 的 LLM Provider 代理

mosenet-labs/llmproxy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/mosenet-labs/llmproxy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mosenet-labs 发布 llmproxy,一个基于 Pingora 的 LLM Provider 代理,单进程单端口提供 OpenAI、Anthropic 和 Gemini 原生协议入口,并用 Topcoat 构建 Providers、Models、Model Routes 控制台。网关按模型标识或显式路由名称选择上游模型与 Provider,支持 HTTP/SSE 转发;调用需虚拟 Key,按资源组隔离管理,模型调用与 /models 列表均要求配置新 Key。数据默认存于 ./data/llmproxy.sqlite3,也支持 PostgreSQL;/v1/auto 协议自动识别尚未实现。

来源:GitHub · 灵魂体仓库 · github.com