GitHub · 去对齐工具与仓库·· 14 天前精选AI 评分69
gpu-inference-platform：可复现的 Kubernetes GPU 推理参考架构与成本基准
asterix004/gpu-inference-platform
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/asterix004/gpu-inference-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
asterix004 发布 gpu-inference-platform，一套在 Kubernetes GPU 上服务开源 LLM 的可复现参考架构，含 GPU 级监控和每 token 成本基准，同一套 Helm charts 可通过仅改 Terraform 模块在 Nebius 与 GKE 运行。首个基准于 2026-10-12 在 Nebius（1 x L40S）完成，Qwen2.5-1.5B-Instruct 配 vLLM v0.31.0，并发 64 时输出吞吐 6,228 tok/s、p95 TTFT 586 ms、每百万输出 token 成本 $0.069，较单并发降 33 倍；吞吐在并发 64 时仍在上升，GKE 数据待补。
推荐理由
仓库提供可在 Nebius 和 GKE 复现的 GPU 推理架构与成本基准，首份 L40S 实测数据已给出单 GPU 吞吐与每百万 token 成本。
来源：GitHub · 去对齐工具与仓库 · github.com