跳到正文
GitHub · 灵魂体仓库·· 10 天前AI 评分33

lario-llms:本地多机 LLM 推理硬件配置仓库

lariocpt/lario-llms

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/lariocpt/lario-llms

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 lario-llms 仓库为 bigcachy、l-dev-ai 和 mini-mobile 三台硬件提供本地 LLM 推理配置,通过编辑 models.json 由 shared/modelctl.py 生成 llama-swap 配置。设备包括 128 GiB 统一内存的 Strix Halo(Vulkan)、RX 7900 XT 20 GiB(ROCm)和 RTX 5080 16 GiB(CUDA),模型权重存放在 XFS 上。提供 geekom、7900xt、rtx5080 等别名切换模型,支持 qwen3.8 系列、Muse 等配置,并通过 MCP 工具暴露 Intel 翻译、嵌入和语音能力。

来源:GitHub · 灵魂体仓库 · github.com