GitHub · 灵魂体仓库·· 19 天前AI 评分18
Relay：自托管 OpenAI 兼容 LLM 网关与推理基准项目
sanskar800/Relay-self-hosted-LLM-gateway-and-inference-benchmark
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sanskar800/Relay-self-hosted-LLM-gateway-and-inference-benchmark
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Relay 是一个自托管、OpenAI 兼容的 LLM 网关与推理基准项目，目前处于开发第 1 周，规划中的能力均未完成。它基于 FastAPI 构建，暴露标准 /v1/chat/completions API，支持多租户 API key、模型白名单、Redis 限流、PostgreSQL 用量账本，并抽象 llama.cpp 与 vLLM 后端。基准测试将在本地 RTX 4050 和免费 Colab GPU 上测量 TTFT p95、吞吐与每百万 token 成本，结果以 Parquet 保存，目前所有基准数字均为 TBD。
来源：GitHub · 灵魂体仓库 · github.com