GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分73
llmctl:面向 AMD Strix Halo 的本地 LLM 服务器管理工具开源
chrbayer/AI
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/chrbayer/AI
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 llmctl 项目用一条命令管理本地 AI 机器:llama.cpp、halogen 和 gufo 后端跑语言模型并提供 OpenAI/Anthropic 兼容代理供 Claude Code 等客户端使用,语音与图像、视频、音乐和 3D 由 ComfyUI 处理,支持槽位、预设、显存核查与模型下载更新。README 给出大量实测:Qwen3.8 经 MTP 头投机解码从 7.22 提速到 15.48 t/s,70B 级模型配独立草稿模型提速约一倍,halogen-server 在 0.15.1 加 v2 检查点下省 14.6 GiB 内存且 prefill 快 3–7%。
推荐理由
原文给出大量实测数据,包括投机解码、显存占用与各后端速度对比,读者可据此评估这套单机 LLM 管理方案的取舍。
来源:GitHub · 去对齐工具与仓库 · github.com