llm-slo-lab：在 Kubernetes 上用 SLO 度量大语言模型推理

开源项目 aLuizab/llm-slo-lab 在 Kubernetes 上为 LLM 推理建立 SLO，测量 TTFT、输出 tokens/s、每请求成本和质量信号，基于 OpenTelemetry GenAI 语义约定，存储在 Prometheus 并用多窗口多燃尽率规则告警，配合 KEDA 扩缩容。该项目是 KubeCon Europe 2027 lightning talk 的配套实验，已在 CPU 上跑通 Qwen2.5-0.5B-Instruct（TTFT 0.4–0.5 s，约 4.5 tokens/s），llm-gateway 默认不记录提示词与响应内容，许可证为 Apache-2.0。