GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分61
ayuvis 开源 mobile-app-aws-terraform-v2 仓库,在 AWS 上用 EKS 与 vLLM 部署推理服务
ayuvis/mobile-app-aws-terraform-v2
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ayuvis/mobile-app-aws-terraform-v2
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ayuvis 在 GitHub 发布 mobile-app-aws-terraform-v2 仓库,提供在 AWS 上部署移动应用后端与 vLLM 推理的 Terraform 配置,涵盖 VPC、EKS、Karpenter GPU 节点池、Aurora、Redis、CloudFront 等模块。vLLM 以 Argo Rollout 金丝雀方式发布,通过 AnalysisTemplate 检查 TTFT p95、队列深度、KV cache 和重启次数,并用 KEDA 按队列深度和 KV cache 扩缩容。
推荐理由
给出了在 AWS 上用 EKS、Karpenter、vLLM 部署 LLM 推理的完整 Terraform 与 K8s 配置,含金丝雀发布与 KEDA 扩缩的部署顺序和已知限制。
来源:GitHub · 去对齐工具与仓库 · github.com