跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分36

Modelgate:一个 provider 中立的 LLM 网关项目,现已支持 M3 持久化与路由

SohamKal/modelgate

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/SohamKal/modelgate

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 Modelgate 计划构建一个 provider 中立的 LLM 网关,用于 stable、canary 和 shadow 模型发布,现已支持 M3 持久化与路由。网关用 PostgreSQL 保存不可变的发布配置与评测元数据,含一条同步服务路径和有界的进程内 shadow 队列,并通过 Prometheus、OpenTelemetry Collector、Jaeger 和 Grafana 提供本地可观测性。项目基于 Python 3.12 与 uv,可通过 Docker Compose 启动本地栈,并支持 Groq(openai/gpt-oss-20b、openai/gpt-oss-120b)与 OpenAI 的免费验证脚本。

来源:GitHub · 灵魂体仓库 · github.com