GitHub · 灵魂体仓库·· 21 天前精选AI 评分58
Model Arkestra 开源：按需调度本地与云端 LLM 推理引擎
marc-ramsey/model-arkestra
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/marc-ramsey/model-arkestra
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
marc-ramsey 在 GitHub 开源 Model Arkestra，通过 YAML 配置按需在本地 GPU 和云端启动 LLM 推理引擎，默认运行 llama.cpp，支持 ROCm、Vulkan RADV、CUDA、CPU 后端及 Podman/Docker 容器。
推荐理由
原文完整给出了 YAML 配置、后端映射和远程联邦的用法，读者可以直接照着在自家 GPU 机器上部署。
来源：GitHub · 灵魂体仓库 · github.com