GitHub · 灵魂体仓库·· 4 小时前AI 评分39
local-llm-hub-lite：单机本地 LLM 与 Whisper HTTP 网关
ferraroroberto/local-llm-hub-lite
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ferraroroberto/local-llm-hub-lite
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ferraroroberto 发布 local-llm-hub-lite，一个无云端、无外部依赖的单机本地 HTTP 网关，在 :8000 提供 Anthropic 与 OpenAI 两种形状的 /v1/messages 和 /v1/chat/completions 接口，并按模型名路由到本地 llama.cpp llama-server，语音转写则代理到 whisper.cpp whisper-server。默认模型为 qwen3.5-4b（Q4_K_M，约 2.1 GB VRAM）和 whisper-large-v3-turbo（约 2 GB VRAM），支持 eager 或 on_demand 启动及空闲卸载释放 VRAM。
来源：GitHub · 灵魂体仓库 · github.com