loxilb-io 开源 loxilb-inference-gateway 推理感知负载均衡器

loxilb-io 在 GitHub 发布 loxilb-inference-gateway，一个面向 LLM 服务的 L4/L7 推理感知负载均衡器，fork 自 loxilb 并保留 Go/eBPF 数据路径。支持 KV-cache 感知路由、Prefill/Decode 分离、按模型名路由、SSE 流式代理、API key/JWT/token 配额治理和 MCP 网关，兼容 vLLM、SGLang、TensorRT-LLM 和 llama.cpp；所有 AI 能力按规则可选，不启用时行为与上游 loxilb 完全一致。项目采用 Apache License 2.0，文档见 https://loxilb-io.github.io/loxilbdocs-inference-gateway/latest/。