GitHub · 去对齐工具与仓库·· 15 天前AI 评分42
llm-scaling-manager：基于 Kubernetes 的 LLM 推理全局扩缩容管理器
ev-shindin/llm-scaling-manager
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ev-shindin/llm-scaling-manager
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llm-d/llm-d-workload-variant-autoscaler 的独立分支 llm-scaling-manager 在 GitHub 开源，为 LLM 推理提供 variant 感知的多模型全局扩缩容。新增 KEDA external scaler 通过 gRPC 直接响应、warm pool 在新副本启动前借出已加载模型的 Pod，以及 `make scaledobjects-plan` 生成可编辑的预应用计划。它结合 KV-cache 利用率、队列深度、token 吞吐等指标在 GPU 预算内决定副本数，由 KEDA 和 HPA 执行，Kubernetes 对象仍保留 wva- 命名。
来源：GitHub · 去对齐工具与仓库 · github.com