LOOM 开源聚合闲置工作站推理网关

maxk2222 开源发布 LOOM 分布式推理网关仓库，把实验室里空闲的工作站聚合成一个 OpenAI 兼容推理端点，支持 chat、completions、embeddings、流式输出、tools 与 vision。仓库采用 MIT 许可。 LOOM 采用本地优先准入：工作站主人需要 GPU 时，对外提供的 tier-2 容量自动降到零，共享容量只是机会性空闲资源。服务端只与客户端通信，不直接接触推理后端；后端支持 vLLM、Ollama、llama.cpp、LM Studio 及 Azure OpenAI、Anthropic、OpenRouter 等远程提供方。 仓库说明称，工作站管理 API（:8391）仅限本机回环访问，agent 通道使用 mTLS（当前为 TLS 加设备凭据），提示词和响应不会持久化到 Postgres、Redis、日志或指标中。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。