GitHub · 灵魂体仓库·· 18 天前AI 评分44
slo-scaler-decision-gen:为 LLM 推理服务生成副本数决策的只读决策器
modelsphere/slo-scaler-decision-gen
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/modelsphere/slo-scaler-decision-gen
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 slo-scaler-decision-gen 每 60s 重建全局视图,基于 LLMSLORequirement/JobSLORequirement CR、Prometheus 信号和 Kubernetes 状态,重新推导每个 LLM 推理服务的副本数,并通过 GET /decisions 以只读 HTTP 接口发布。它自身不执行扩缩容,由 operator 读取决策执行;所有副本数来自实际工作负载而非内部记录,缩容规则是纯函数,最后由全局分配器分配有限 GPU 池。项目采用 Apache License 2.0,镜像发布在 Docker Hub 的 4pdosc/llm-scaler-decision-gen,测试无需集群或 Prometheus。
来源:GitHub · 灵魂体仓库 · github.com