开源项目 SafeRoute LLM Gateway 发布,提供认证限流缓存等功能
热点事件持续更新
开源项目 SafeRoute LLM Gateway 发布,提供认证限流缓存等功能
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 Mohammad-Fahim05 在 GitHub 发布开源项目 SafeRoute-LLM-Gateway,这是一个基于 Python 和 FastAPI 的轻量级 LLM 网关,位于客户端应用与上游模型提供商(如 Ollama、Mock)之间,统一 chat completions 接口。 项目功能包括 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出、Prometheus 指标和流式缓存重放,并支持超时管理、错误处理,以及通过 Docker Compose 部署。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 01:29
SafeRoute-LLM-Gateway:基于 Python 和 FastAPI 的轻量级开源 LLM 网关报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库SafeRoute-LLM-Gateway:基于 Python 和 FastAPI 的轻量级开源 LLM 网关
SafeRoute 是一个用 Python 和 FastAPI 构建的轻量级 LLM 网关,位于客户端应用与上游模型提供商(如 Ollama、Mock)之间,统一 chat completions 接口并提供认证、限流、超时管理与错误处理。项目分阶段实现了 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出,以及 Prometheus 指标和流式缓存重放,并支持 Docker Compose 部署。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。