跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分44

slo-scaler-decision-gen:为 LLM 推理服务生成副本数决策的只读决策器

modelsphere/slo-scaler-decision-gen

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/modelsphere/slo-scaler-decision-gen

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 slo-scaler-decision-gen 每 60s 重建全局视图,基于 LLMSLORequirement/JobSLORequirement CR、Prometheus 信号和 Kubernetes 状态,重新推导每个 LLM 推理服务的副本数,并通过 GET /decisions 以只读 HTTP 接口发布。它自身不执行扩缩容,由 operator 读取决策执行;所有副本数来自实际工作负载而非内部记录,缩容规则是纯函数,最后由全局分配器分配有限 GPU 池。项目采用 Apache License 2.0,镜像发布在 Docker Hub 的 4pdosc/llm-scaler-decision-gen,测试无需集群或 Prometheus。

来源:GitHub · 灵魂体仓库 · github.com