GitHub · 灵魂体仓库·· 18 天前精选AI 评分71
CapyCTL 0.1.2 发布:在自有 GPU 上停放、唤醒和切换模型
edurdias/capyctl
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/edurdias/capyctl
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
edurdias 发布 CapyCTL 0.1.2,一个在自有 GPU 上管理 vLLM、SGLang 和 TensorFold 推理引擎的部署工具,通过停放空闲模型释放显存、按请求唤醒切换,并在所有机器前提供统一的 OpenAI 兼容端点(/v1/chat/completions,支持流式与工具调用)。当前仅支持每模型单 GPU、Linux x86-64/ARM64 与 NVIDIA 卡,多 GPU 张量并行推迟到 0.1.2 之后;引擎仅监听 loopback,主机经 gRPC 双向 TLS 通信。项目以 Apache-2.0 许可,安装器为各架构单一自包含二进制并校验 SHA256SUMS。
推荐理由
原文详述了在有限显存下停放、唤醒和切换模型的机制与硬性限制,为自建 vLLM 和 SGLang 推理服务提供了可复用的部署思路。
来源:GitHub · 灵魂体仓库 · github.com