GitHub · 灵魂体仓库·· 18 天前AI 评分52
agent-gpu 发布：把多台机器的 Ollama GPU 池化为 OpenAI 兼容推理层
jaypetez/agent-gpu
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jaypetez/agent-gpu
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
jaypetez 在 GitHub 开源了 agent-gpu，一个面向 Ollama 的分布式推理层，把远程 GPU 机器聚合成一个 OpenAI 兼容 API。中央服务器负责认证、配额、权限和容量感知调度，按空闲 VRAM 和负载分发任务，并用会话亲和保持对话落在已缓存上下文的 worker 上；支持 /v1/chat/completions 等端点、多租户 API key、Prometheus metrics，提供 Docker Compose 一键启动和 Windows/macOS/Linux x64+ARM64 二进制，项目处于早期开发阶段。
来源：GitHub · 灵魂体仓库 · github.com