GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分57
yack300 开源 llm-platform-on-eks：EKS 上的 LLM 推理参考平台
yack300/llm-platform-on-eks
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/yack300/llm-platform-on-eks
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
yack300 在 GitHub 发布 llm-platform-on-eks，一个在 Kubernetes（EKS）上运行 LLM 推理的参考平台，采用 Terraform 加 Argo CD 的 GitOps 模式。平台分五层：vLLM + KEDA 部署与自动扩缩、LiteLLM 多供应商网关、Qdrant RAG 管线、Prometheus + Grafana + OpenCost/Kubecost 成本观测（按请求/token 计费）、以及 Trivy/Checkov/Kyverno/GitLeaks 安全层。
推荐理由
原文给出五层架构与完整部署脚本，读者可按本地 kind 到 EKS 的顺序复现整套 LLM 平台。
来源：GitHub · 去对齐工具与仓库 · github.com