Bobcat/llm-pool 发布 FastAPI 多后端模型池服务，统一本地与远程模型 API

Bobcat 开源 llm-pool，一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务，支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端，内置按模型的客户端公平调度队列，并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。