GitHub · 灵魂体仓库·· 17 天前AI 评分31
local-llm-stack：无需 Docker 的本地 LLM 运行栈（Hermes → LiteLLM → llama-swap → llama.cpp）
convergentaru/local-llm-stack
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/convergentaru/local-llm-stack
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 local-llm-stack 提供一套本地 LLM 运行与测试栈，将 Hermes AI 智能体、LiteLLM 网关（:4000）、llama-swap 模型管理器（:8080）和 llama.cpp 推理引擎串成完整链路，不用 Docker 和云端 API。栈支持 qwen3.5-4b、ministral-3b、ministral-8b、deepseek-r1-7b、qwen3-8b 等模型，测试配置为 Qwen3-8B Q4_K_M 64K context，可通过 chat template 显式控制 thinking/non-thinking 推理模式。
来源：GitHub · 灵魂体仓库 · github.com