GitHub · 去对齐工具与仓库·· 20 天前AI 评分22
LoxiLB Inference Gateway 文档站点源码仓库发布
loxilb-io/loxilbdocs-inference-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/loxilb-io/loxilbdocs-inference-gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
loxilb-io 开源 LoxiLB Inference Gateway 文档站点源码，该网关是面向 vLLM、SGLang、TensorRT-LLM 和 llama.cpp 服务集群的推理感知 L4/L7 负载均衡器，fork 自 loxilb。其功能包括模型感知路由、KV-cache 感知路由选择、prefill/decode 分离、API-key 与配额管控、OpenAI 兼容 SSE 流式输出及 MCP 网关。文档基于 MkDocs + Material for MkDocs 构建并发布至 GitHub Pages，采用 Apache License 2.0 许可。
来源：GitHub · 去对齐工具与仓库 · github.com