跳到正文
GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分73

llmctl:面向 AMD Strix Halo 的本地 LLM 服务器管理工具开源

chrbayer/AI

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/chrbayer/AI

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 llmctl 项目用一条命令管理本地 AI 机器:llama.cpp、halogen 和 gufo 后端跑语言模型并提供 OpenAI/Anthropic 兼容代理供 Claude Code 等客户端使用,语音与图像、视频、音乐和 3D 由 ComfyUI 处理,支持槽位、预设、显存核查与模型下载更新。README 给出大量实测:Qwen3.8 经 MTP 头投机解码从 7.22 提速到 15.48 t/s,70B 级模型配独立草稿模型提速约一倍,halogen-server 在 0.15.1 加 v2 检查点下省 14.6 GiB 内存且 prefill 快 3–7%。

推荐理由

原文给出大量实测数据,包括投机解码、显存占用与各后端速度对比,读者可据此评估这套单机 LLM 管理方案的取舍。

来源:GitHub · 去对齐工具与仓库 · github.com