GitHub · 灵魂体仓库·· 7 天前AI 评分42
slipstream：基于 AWS EKS 的自托管 LLM 推理平台开源项目
pvardanis/slipstream
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pvardanis/slipstream
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
slipstream 是一个部署在 AWS EKS 上的自托管 LLM 推理平台，用 vLLM 在 Karpenter 调度的 g5 GPU 节点上服务 AWQ 量化的开源模型。它通过无人值守的两层参数扫描（引擎参数 × 客户端并发）找出每个配置在 SLO 下的持续并发上限，just stack-up / stack-down 可一键搭建和销毁整套环境，目标是在单 GPU、按需计费的预算下提升每美元 token 吞吐。
来源：GitHub · 灵魂体仓库 · github.com