GitHub · 灵魂体仓库·· 7 天前AI 评分41
obaida7/aws-vllm-serving：基于 vLLM 与 AWS 的生产级 LLM 服务平台
obaida7/aws-vllm-serving
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/obaida7/aws-vllm-serving
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 obaida7/aws-vllm-serving 提供了一套基于 AWS 的生产级 LLM 服务方案，在 EC2 g4dn.xlarge（NVIDIA T4 GPU）上用 vLLM 自托管推理，支持 Qwen2.5 / Llama，并可回退到 Amazon Bedrock（Llama 3.1 / Claude Haiku）。平台通过 LiteLLM 网关、Redis 限流、PostgreSQL 状态存储及 Prometheus + Grafana 监控组成 Docker Compose 技术栈，用 GitHub Actions CI/CD 和 Terraform 实现 GitOps 自动化部署。
来源：GitHub · 灵魂体仓库 · github.com