GitHub · 去对齐工具与仓库·· 2 天前AI 评分22
MicheleCampi 开源 gke-llm-inference-platform：GKE 上的 LLM 推理平台
MicheleCampi/gke-llm-inference-platform
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MicheleCampi/gke-llm-inference-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
MicheleCampi 发布 gke-llm-inference-platform，一个基于 Terraform 与 ArgoCD app-of-apps 的 GKE LLM 推理平台，通过 scale-to-zero 的 L4 GPU 节点池运行 vllm-coldstart-operator v0.6.0，部署 Qwen2.5-7B-Instruct。实测中 6 个 ArgoCD Applications 全部 Healthy 且 Synced，vLLM Pod 0 重启并成功完成一次 chat completion（39 prompt + 33 completion tokens），随后 terraform destroy 清空全部 7 个资源实例。
来源：GitHub · 去对齐工具与仓库 · github.com