GitHub · 灵魂体仓库·· 8 天前AI 评分44
Vector Institute 开源 Vector Inference：在 Slurm 集群上用 vLLM 和 SGLang 轻松部署推理服务器
VectorInstitute/vector-inference
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/VectorInstitute/vector-inference
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Vector Institute 的 vector-inference 仓库提供基于 Slurm 集群的推理服务器部署方案，底层使用 vLLM 和 SGLang 等开源推理引擎。用户可通过 CLI 或 API 启动 OpenAI 兼容的推理服务，例如一条命令即可部署 Meta-Llama-3.1-8B-Instruct。软件包可通过 pip install vec-inf 安装，原生支持 Vector Institute 集群环境，也可通过配置文件或 Docker 镜像适配其他 Slurm 集群。
来源：GitHub · 灵魂体仓库 · github.com