跳到正文
GitHub · 灵魂体仓库·· 6 天前精选AI 评分57

ZQM Computing 开源 ollama-fleet-patterns:用 Ollama 跑本地大语言模型舰队的运维模式

ZQM-Computing/ollama-fleet-patterns

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ZQM-Computing/ollama-fleet-patterns

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ZQM Computing 在 GitHub 开源 ollama-fleet-patterns 仓库,提供用 Ollama 把本地大语言模型按多机舰队而非单机运行的运维模式。内容包括 fleet_health.sh 主机健康检查、model_sync.sh 基于模型 manifest 的同步、单文件 RAG 参考实现 rag_minimal.py(仅依赖 Python + numpy,含离线 --self-test),以及拓扑、VRAM 预算、模型管理和运维文档;面向已有单机 Ollama 并想扩展到多台主机的开发者和 homelab 用户,采用 MIT 许可。

推荐理由

仓库作者从生产自托管经验提炼多机 Ollama 舰队运维模式,健康检查、manifest 同步和单文件 RAG 都可直接复用。

来源:GitHub · 灵魂体仓库 · github.com