开源 LLM 推理平台：在 RunPod 与 Vast.ai 上用 vLLM 和 SGLang 部署 Llama 3.1 8B 与 Qwen3 8B

一个面向生产环境的开源 LLM 推理平台，可在 RunPod 和 Vast.ai 等廉价 GPU 云上部署 Llama 3.1 8B（AWQ 4-bit，约 10 GB 显存）与 Qwen3 8B（fp8，约 8 GB 显存），同时支持 vLLM v0.30.0 和 SGLang v0.5.20 两种引擎，并通过 LiteLLM 代理网关做流量 A/B 分流。平台基于 KEDA 按 Prometheus 队列深度和 KV-cache 压力自动扩缩容，提供 Prometheus + Grafana + Loki 全套可观测性、机密加密、NVMe 模型缓存（重复启动约 30 秒）以及 Velero 每日集群备份。