GitHub · 灵魂体仓库·· 12 天前AI 评分34
Beast-jr 开源 llm-gateway:FastAPI 网关为 LLM API 加缓存与预算控制
Beast-jr/llm-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Beast-jr/llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Beast-jr 在 GitHub 发布 llm-gateway,一个介于应用与 LLM API 之间的 FastAPI 服务,优先使用 Groq、以 Gemini 作为回退。它提供 Redis 精确缓存、pgvector 语义缓存、带每日 token 预算的 API key、熔断回退,以及展示缓存命中率、省钱金额和加速比的 /stats 端点。测试无需 .env、数据库、Redis 或 API key,完整 README 将于 Day 14 发布。
来源:GitHub · 灵魂体仓库 · github.com