llmhost 发布 Linux 服务器本地大模型托管工具，兼容 OpenAI API

GitHub 用户 bkisonka 发布 llmhost，一个 Linux 服务器上的本地大模型托管工具，由 headless 守护进程 llmhostd 和命令行 lhctl 组成，底层驱动原版 llama.cpp，对外提供 http://127.0.0.1:7330/v1 的 OpenAI 兼容 API。支持路由器模式同时驻留多模型（默认 2 个，LRU 换出）、多 GPU 自动分配与张量切分、MoE 专家放 RAM、自动参数调优、MTP 投机解码免配置加速、闲置 15 分钟自动卸载、Prometheus 指标和 Bearer 密钥鉴权；从 HuggingFace 目录搜索下载模型并按显存自动选量化。