ferraroroberto 发布单机本地推理网关 local-llm-hub-lite
先了解这件事
ferraroroberto 在 GitHub 发布 local-llm-hub-lite，一个无云端、无外部依赖的单机本地 HTTP 网关，在 :8000 提供 Anthropic 与 OpenAI 两种格式的 /v1/messages 和 /v1/chat/completions 接口，按模型名路由到本地 llama.cpp llama-server，语音转写则代理到 whisper.cpp whisper-server。它是其 local-llm-hub 的精简单机分支。 默认模型为 qwen3.5-4b（Q4_K_M，约 2.1 GB VRAM）和 whisper-large-v3-turbo（约 2 GB VRAM），支持 eager 或 on_demand 启动及空闲卸载以释放 VRAM。作者说明这是在自有硬件上运行开源权重模型的个人工具；模型权重沿用各自许可（Qwen 为 Apache 2.0，Whisper 为 MIT），再分发前需自行确认。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 灵魂体仓库local-llm-hub-lite：单机本地 LLM 与 Whisper HTTP 网关
ferraroroberto 发布 local-llm-hub-lite，一个无云端、无外部依赖的单机本地 HTTP 网关，在 :8000 提供 Anthropic 与 OpenAI 两种形状的 /v1/messages 和 /v1/chat/completions 接口，并按模型名路由到本地 llama.cpp llama-server，语音转写则代理到 whisper.cpp whisper-server。默认模型为 qwen3.5-4b（Q4_K_M，约 2.1 GB VRAM）和 whisper-large-v3-turbo（约 2 GB VRAM），支持 eager 或 on_demand 启动及空闲卸载释放 VRAM。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月29日 20:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。