开源工具 Llama-RPC-Farm 将多机 GPU 池化为 llama.cpp RPC 集群
先了解这件事
开发者 dakotacookson 发布开源工具 Llama-RPC-Farm v0.01，把多台 Linux/Windows 机器的 GPU 池化为真实的 llama.cpp RPC 集群，并通过 llama-swap 在单一 OpenAI 兼容端点上按需启停多个模型。 工具提供实时仪表盘、逐 tensor 设备分配可视化、内置 Hugging Face GGUF 下载、API key 分级授权和测试台；已实测 x86_64 Linux 与 NVIDIA CUDA/Windows 路径，ROCm、Apple Silicon 等路径代码完成但尚待实测。项目支持引擎为 llama.cpp RPC + llama-swap，另有实验性 vLLM 模式，作者称其不是受支持功能。 该工具定位为可信网络下的 homelab 用途：llama.cpp 的 RPC 服务器设计上无鉴权，工具假定以局域网或 VPN 作为安全边界。项目自身代码采用 Apache-2.0 许可，可免费用于个人和商业用途；依赖的 llama.cpp 与 llama-swap 保持各自 MIT 许可，项目不修改其代码。
AI 根据报道生成 · 15 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库Llama-RPC-Farm 开源：把整屋机器的 GPU 组成 llama.cpp RPC 集群
dakotacookson 发布 Llama-RPC-Farm v0.01，一个把多台 Linux/Windows 机器的 GPU 池化为真实 llama.cpp RPC 集群的开源编排工具，并通过 llama-swap 在单一 OpenAI 兼容端点上按需启停多模型。提供实时仪表盘、逐 tensor 设备分配可视化、内置 Hugging Face GGUF 下载、API key 分级授权和测试台；已实测 x86_64 Linux 与 NVIDIA CUDA/Windows 路径，ROCm、Apple Silicon 等代码完成但待实测。项目本身为 Apache-2.0，依赖 MIT 许可的 llama.cpp 与 llama-swap，不修改二者代码。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月6日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。