跳到正文
GitHub · 灵魂体仓库·· 7 天前精选AI 评分67

SlotServe 开源:把一张 GPU 变成实验室共享的可预约 llama.cpp 推理服务

PelerYuan/slotserve

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/PelerYuan/slotserve

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

PelerYuan 在 GitHub 开源 SlotServe,将一张 GPU 变成实验室或小团队共享的可预约推理服务。用户在网页日历上预订独占时段,通过 OpenAI 兼容端点和个人 API key 调用模型,系统自动托管 llama-server、学习各模型加载时间并在预约开始前预加载。支持 .gguf 模型下载、用量仪表盘、Telegram 通知、Prometheus 指标,单容器部署仅需 SQLite 和三个挂载目录,采用 MIT 许可证。

推荐理由

一个把实验室单张 GPU 变成可预约共享推理服务的开源自托管方案,按预约切换 llama-server 模型并预热,部署思路可直接照搬。

来源:GitHub · 灵魂体仓库 · github.com