GitHub · 灵魂体仓库·· 1 小时前精选AI 评分69
InferMux：在 llama-swap 基础上加入 GPU 管家的本地模型统一入口
AlexanderReaper7/InferMux
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/AlexanderReaper7/InferMux
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
AlexanderReaper7 发布 InferMux，一个内置 GPU warden 的 llama-swap 分支，为本地模型提供统一端点，并在其他程序需要 GPU 时自动卸载模型且不中断用户刚发出的请求。warden 通过 NVML 监控显卡，游戏或 ComfyUI 需要时取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥区分批量与交互请求，交互请求期间模型不会被卸载。项目支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和断点续写的批量作业，AGPL-3.0 协议开源。
推荐理由
给出了在本地让大模型、ComfyUI 和游戏共享同一块 GPU 的完整方案，含配置示例、密钥与让出机制，方法可直接复用。
来源：GitHub · 灵魂体仓库 · github.com