GitHub · 灵魂体仓库·2026-10-06 08:53· 22 天前精选AI 评分66

Handoff Router 开源：单 GPU 多推理引擎的 VRAM 交接路由

idawz07/llm-handoff

来源与原文

GitHub · 灵魂体仓库

发布时间：2026-10-06 08:53（北京时间）

完整链接与内容说明

https://github.com/idawz07/llm-handoff

本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。

AI 导读

idawz07 发布开源工具 Handoff Router，提供 OpenAI 兼容端点，把 llama.cpp、vLLM、SGLang、Strata、NInfer 等本地模型服务器作为后端统一管理，按请求中的 model 字段在引擎间交接 GPU。

推荐理由

原文明确了它和 llama-swap、Ollama 等换模型工具的差异，管理单位是引擎而非模型，适合单卡多引擎互斥的场景。