GitHub · 灵魂体仓库·· 6 天前精选AI 评分62
cloudwalksolutions/llm-server：本地 LLM 推理服务器部署与远程管理工具
cloudwalksolutions/llm-server
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cloudwalksolutions/llm-server
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
cloudwalksolutions 在 GitHub 发布 llm-server，提供本地 LLM 推理服务器的安装与远程管理，支持 AMD（Vulkan）与 NVIDIA（CUDA）GPU 的 llama.cpp 安装脚本，并可选通过 Cloudflare Tunnel 暴露公网。架构为每个模型一个 llama-server 实例、各自绑定 loopback 端口，由 nginx njs 路由按请求的 model 字段分发；make deploy 通过 systemd 模板部署，可对比 diff、只重启变更实例并在失败时自动回滚。
推荐理由
这是一个完整的 llama.cpp 多模型推理服务器管理方案，部署、验证、基准与 KV 量化实测工具齐全，方法可直接复用。
来源：GitHub · 灵魂体仓库 · github.com