GitHub · 去对齐工具与仓库·· 7 小时前AI 评分47
akiojin/llmlb：LLM Load Balancer 多机推理负载均衡系统
akiojin/llmlb
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/akiojin/llmlb
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LLM Load Balancer（llmlb）是一个集中管理系统，为跨多台机器的多个 LLM 推理运行时提供统一 API 端点，支持 Ollama、vLLM、LM Studio、llama.cpp、xLLM 等 OpenAI 兼容服务器。其功能包括基于 TPS 的自动负载均衡、离线端点自动检测、GPU 感知路由、实时监控 WebUI、7 天请求历史记录，并可通过 openai:、google:、anthropic: 前缀代理云端 API，还支持 TTS、ASR 与图像生成的 OpenAI 兼容接口。
来源：GitHub · 去对齐工具与仓库 · github.com