跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分58

llama-swap-unified-native 发布:基于 llama-swap 的 Ubuntu 自托管 AI 栈安装脚本

drone540/llama-swap-unified-native

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/drone540/llama-swap-unified-native

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

drone540 发布了 llama-swap-unified-native,一个在 Ubuntu 等 Debian 系 Linux 上从源码构建自托管 AI 栈的安装脚本,以 llama-swap 作为模型路由与管理器。可选组件包括 llama.cpp、ik_llama.cpp、stable-diffusion.cpp、whisper.cpp、Kokoro-FastAPI、CrispASR、acestep.cpp 和 audio.cpp,每个组件可交互选择 CUDA、Vulkan、HIP/ROCm、Metal、SYCL 或 CPU 后端,配置保存在 /opt/ai-stack/stack.conf 并支持 --reconfigure 重配、--release 下载预编译二进制及 --uninstall 卸载。

推荐理由

这是一个可直接复用的 Ubuntu 自建 AI 栈安装脚本,交互式选择组件与计算后端,适合想在本地一键部署多模型服务的读者。

来源:GitHub · 去对齐工具与仓库 · github.com