GitHub · 去对齐工具与仓库·· 3 天前AI 评分18
eslam-aboutaleb 开源 llm-gateway:基于 OCI 免费层的 LiteLLM 代理网关
eslam-aboutaleb/llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/eslam-aboutaleb/llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
eslam-aboutaleb 在 GitHub 发布 llm-gateway,在 OCI Always Free ARM64 实例(2 OCPU、12 GB RAM)上运行管理员托管的 LiteLLM Proxy,对外提供 OpenAI 兼容的 HTTPS API,集中管理上游模型凭据并按虚拟 key 强制团队访问与支出限额。架构采用 Caddy 做 TLS 入口、PostgreSQL 存储密钥与用量、Redis 做计数与缓存,备份经 Age 加密写入 OCI Object Storage,并支持 LangChain、LlamaIndex、CrewAI 等框架接入。
来源:GitHub · 去对齐工具与仓库 · github.com