AlexanderReaper7 发布带 GPU 守卫的 llama-swap 分支 InferMux
热点事件持续更新
AlexanderReaper7 发布带 GPU 守卫的 llama-swap 分支 InferMux
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者 AlexanderReaper7 发布并开源 InferMux，一个在 llama-swap 基础上加入 GPU warden 的分支，为本地模型提供统一端点，并在其他程序需要显卡时自动卸载模型且不中断用户刚发出的请求。项目采用 AGPL-3.0 协议开源。 其 warden 通过 NVML 监控显卡：当游戏或 ComfyUI 需要 GPU 时，会取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥以区分批量与交互请求，交互请求期间模型不会被卸载。 项目还支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和可断点续写的批量作业，且通过合并上游发布保持与 llama-swap 同步。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 04:29
InferMux：在 llama-swap 基础上加入 GPU 管家的本地模型统一入口报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库精选InferMux：在 llama-swap 基础上加入 GPU 管家的本地模型统一入口
AlexanderReaper7 发布 InferMux，一个内置 GPU warden 的 llama-swap 分支，为本地模型提供统一端点，并在其他程序需要 GPU 时自动卸载模型且不中断用户刚发出的请求。warden 通过 NVML 监控显卡，游戏或 ComfyUI 需要时取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥区分批量与交互请求，交互请求期间模型不会被卸载。项目支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和断点续写的批量作业，AGPL-3.0 协议开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。