ServerFlow：分布式 LLM 推理控制平面与路由层

开源项目 ServerFlow 提供分布式 LLM 推理的控制平面与路由层，通过 OpenAI 兼容 API 在 vLLM GPU worker 间调度推理请求，涵盖网关、调度器、worker 注册、限流与可观测性。目前 Phase 0、2-9 已完成，网关可基于 Redis 做租户限流、基于 PostgreSQL 做密钥认证，并内置可复现负载测试的 benchmark 工具；Phase 1 因缺少 GPU 延后。