跳到正文
GitHub · 去对齐工具与仓库·· 3 天前AI 评分18

eslam-aboutaleb 开源 llm-gateway:基于 OCI 免费层的 LiteLLM 代理网关

eslam-aboutaleb/llm-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/eslam-aboutaleb/llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

eslam-aboutaleb 在 GitHub 发布 llm-gateway,在 OCI Always Free ARM64 实例(2 OCPU、12 GB RAM)上运行管理员托管的 LiteLLM Proxy,对外提供 OpenAI 兼容的 HTTPS API,集中管理上游模型凭据并按虚拟 key 强制团队访问与支出限额。架构采用 Caddy 做 TLS 入口、PostgreSQL 存储密钥与用量、Redis 做计数与缓存,备份经 Age 加密写入 OCI Object Storage,并支持 LangChain、LlamaIndex、CrewAI 等框架接入。

来源:GitHub · 去对齐工具与仓库 · github.com