跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分61

ayuvis 开源 mobile-app-aws-terraform-v2 仓库,在 AWS 上用 EKS 与 vLLM 部署推理服务

ayuvis/mobile-app-aws-terraform-v2

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ayuvis/mobile-app-aws-terraform-v2

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ayuvis 在 GitHub 发布 mobile-app-aws-terraform-v2 仓库,提供在 AWS 上部署移动应用后端与 vLLM 推理的 Terraform 配置,涵盖 VPC、EKS、Karpenter GPU 节点池、Aurora、Redis、CloudFront 等模块。vLLM 以 Argo Rollout 金丝雀方式发布,通过 AnalysisTemplate 检查 TTFT p95、队列深度、KV cache 和重启次数,并用 KEDA 按队列深度和 KV cache 扩缩容。

推荐理由

给出了在 AWS 上用 EKS、Karpenter、vLLM 部署 LLM 推理的完整 Terraform 与 K8s 配置,含金丝雀发布与 KEDA 扩缩的部署顺序和已知限制。

来源:GitHub · 去对齐工具与仓库 · github.com