跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分68

c4software/llmsetup:在 Strix Halo 上以 ROCm 容器化 llama-server 的本地部署脚本

c4software/llmsetup

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/c4software/llmsetup

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

c4software 发布 llmsetup,用一个 ./setup-llm.sh 在 Ryzen AI Max+ 395(124Go 统一内存,CachyOS)上以 router 模式驱动 llama-server。自 2026 年 9 月 18 日起引擎统一为本地构建的 ROCm 镜像(HIP 版 halo-box/strix-llama.cpp),移除宿主机 Vulkan fork;脚本管理 Hugging Face GGUF 下载、models.ini 生成、LRU 加载,并提供 --bench、--bench-agentic、--spec-tune 等一整套按实际 API 测量的基准与投机解码调优子命令。

来源:GitHub · 去对齐工具与仓库 · github.com