GitHub · 去对齐工具与仓库·· 20 天前AI 评分53
sirdadfar 开源自托管 LLM 网关 llm-gateway
sirdadfar/llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sirdadfar/llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
sirdadfar 在 GitHub 发布自托管、OpenAI 兼容的 LLM 网关 llm-gateway,基于 NestJS 和 TypeScript,用统一 API 接入 OpenAI、Anthropic Claude 和本地 Ollama。支持模型路由与别名、可配置超时重试与可选 fallback、SSE 流式及客户端断开取消、lgw_ 前缀 API 密钥(仅存 SHA-256 哈希)、按密钥模型白名单、Redis 滑动窗口限流与月度配额、Redis 响应缓存及 PostgreSQL 用量审计持久化,提供 Docker Compose 部署、Swagger 文档与 GitHub Actions CI,采用 MIT 许可。
来源:GitHub · 去对齐工具与仓库 · github.com