跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分53

sirdadfar 开源自托管 LLM 网关 llm-gateway

sirdadfar/llm-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/sirdadfar/llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

sirdadfar 在 GitHub 发布自托管、OpenAI 兼容的 LLM 网关 llm-gateway,基于 NestJS 和 TypeScript,用统一 API 接入 OpenAI、Anthropic Claude 和本地 Ollama。支持模型路由与别名、可配置超时重试与可选 fallback、SSE 流式及客户端断开取消、lgw_ 前缀 API 密钥(仅存 SHA-256 哈希)、按密钥模型白名单、Redis 滑动窗口限流与月度配额、Redis 响应缓存及 PostgreSQL 用量审计持久化,提供 Docker Compose 部署、Swagger 文档与 GitHub Actions CI,采用 MIT 许可。

来源:GitHub · 去对齐工具与仓库 · github.com