GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分67
Cass67 开源 local_llm：面向 AMD 与 Nvidia GPU 工作站的自托管 LLM 管理系统
Cass67/local_llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Cass67/local_llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Cass67 在 GitHub 发布 local_llm，一套面向 AMD（ROCm/Vulkan）与 Nvidia（CUDA）GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU，Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。
推荐理由
作者给出了多 GPU 张量并行的实测数据与投机解码配置对比，读者可以据此评估这套自托管方案在自己硬件上的收益。
来源：GitHub · 去对齐工具与仓库 · github.com