yabooung 开源 mini-maas：面向自托管 vLLM 的轻量 LLM 服务网关

作者在 GitHub 开源 mini-maas，一个约 1500 行的 OpenAI 兼容 LLM 服务网关，提供 API 密钥、IP 白名单、token 计量、按密钥限流、基于健康状态的模型回退、Prometheus 指标及 Kubernetes 零丢失滚动更新。项目定位为小型参考实现，建议多供应商或需管理界面的场景改用 LiteLLM Proxy；截至 2026-10 已在一个自托管 vLLM 加 MLX 回退前运行，滚动更新与推理基准的测量表格尚未填入数据。设计上回退仅在首字节前切换，健康状态取自数据路径，估算 token 与后端实际用量分开记账。