跳到正文
GitHub · 灵魂体仓库·· 4 小时前AI 评分37

SafeRoute-LLM-Gateway:基于 Python 和 FastAPI 的轻量级开源 LLM 网关

Mohammad-Fahim05/SafeRoute-LLM-Gateway

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Mohammad-Fahim05/SafeRoute-LLM-Gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SafeRoute 是一个用 Python 和 FastAPI 构建的轻量级 LLM 网关,位于客户端应用与上游模型提供商(如 Ollama、Mock)之间,统一 chat completions 接口并提供认证、限流、超时管理与错误处理。项目分阶段实现了 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出,以及 Prometheus 指标和流式缓存重放,并支持 Docker Compose 部署。

来源:GitHub · 灵魂体仓库 · github.com