gpupool 开源：把多机零散 VRAM 池化成 OpenAI 兼容推理端点

gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。