GitHub · 去对齐工具与仓库·· 9 小时前AI 评分51
llm-inference-platform：基于 Kubernetes GPU 的自托管 LLM 推理平台蓝图
Isaac19911369/llm-inference-platform
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Isaac19911369/llm-inference-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Isaac19911369 发布 llm-inference-platform 仓库，提供在 Kubernetes GPU 上自托管 LLM 的完整蓝图，以 OpenAI 兼容 API 为统一契约，支持 NVIDIA NIM 和 vLLM 双引擎。覆盖容量规划（llmplat plan 按 Llama 3.1 8B/70B 在 L4/L40S/H100/H200 上估算权重显存、KV cache 和副本数）、Helm 部署（含 GPU 调度、30 分钟启动探针、RWX 模型缓存、NetworkPolicy）、OpenAI 兼容压测（测 TTFT/ITL/吞吐并按 SLO 选并发点）、基于队列深度的 KEDA 扩缩容，以及 Grafana 仪表盘和 SLO 告警。
来源：GitHub · 去对齐工具与仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。