k8s-llm-hosting：在 Kubernetes 集群本地托管 LLM 与 Agent 的方案

k8s-llm-hosting 项目提出在 Kubernetes 集群本地托管 LLM、Agent 与 UI，通过共享卷下载模型、ollama/llama.cpp 部署挂载单一模型，并基于业务指标用 HPA 扩缩容。方案采用 CRD 定义模型实例，用 tinyLLM Proxy、Traefik 中间件或 Envoy 按请求中的 model 字段路由流量，配合 Open WebUI 测试界面和 Grafana/Loki 监控。文中给出 Gateway API、Traefik、模型下载（如 qwen2.5-coder:1.5b、qwen3:0.6b）及 kubectl-ai 接入的完整安装步骤。