Unswarm 发布自托管多机 LLM 推理管理控制面

atretador 在 GitHub 开源 Unswarm，一个用于跨多台机器管理 LLM 推理基础设施的自托管控制面，可注册远程 agent、编排 llama.cpp 和 vLLM 等 Docker 容器，并通过 /v1/chat/completions 提供 OpenAI 兼容代理。调度器按需加载和卸载模型，让有限 VRAM（如 24 GB）看起来可服务 10 个模型，支持独占与共置模型分组、会话亲和（默认 45 秒驻留窗口）防止工具调用间的模型反复切换，并附带基准测试、用量分析、成本跟踪、路由配置和 Go 编写的 CLI。