GitHub · 灵魂体仓库·· 4 小时前AI 评分37
SafeRoute-LLM-Gateway:基于 Python 和 FastAPI 的轻量级开源 LLM 网关
Mohammad-Fahim05/SafeRoute-LLM-Gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Mohammad-Fahim05/SafeRoute-LLM-Gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
SafeRoute 是一个用 Python 和 FastAPI 构建的轻量级 LLM 网关,位于客户端应用与上游模型提供商(如 Ollama、Mock)之间,统一 chat completions 接口并提供认证、限流、超时管理与错误处理。项目分阶段实现了 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出,以及 Prometheus 指标和流式缓存重放,并支持 Docker Compose 部署。
来源:GitHub · 灵魂体仓库 · github.com