跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分55

FrankenLLM 开源:在每块 NVIDIA GPU 上各跑一个 Ollama 模型

ChiefGyk3D/FrankenLLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ChiefGyk3D/FrankenLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ChiefGyk3D 在 GitHub 开源 FrankenLLM 工具集,让每块 NVIDIA GPU 各运行独立 Ollama 实例(如端口 11434、11435),互不干扰地服务不同模型。提供交互式安装向导、systemd 服务、开机自动预热、GPU 健康监测自修复、Open WebUI 集成与 RAG 数据集抓取脚本,面向 Ubuntu Server 24.04,支持本地或 SSH 远程部署,并按 8GB 到 32GB+ 显存给出推荐模型组合。

推荐理由

作者开源了一套多 GPU 部署脚本,按显存大小给出具体模型搭配和常见故障的排查方法,可迁移到自建机器。

来源:GitHub · 灵魂体仓库 · github.com