GitHub · 灵魂体仓库·· 13 天前AI 评分48
simple_llm：基于 llama.cpp 的自托管 OpenAI 兼容 LLM 服务
plartemyev/simple_llm
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/plartemyev/simple_llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
simple_llm 是一个自托管、OpenAI 兼容的 LLM 服务，打包为 Arch Linux Docker 镜像，后端为 llama.cpp 的 llama-server，可在单 GPU 上运行小型本地模型，替换托管 LLM API。支持 CUDA（主）与 Vulkan 两种后端，候选模型为 ≤13B 的 Q8_0 量化版本，如 unsloth/Qwen3.5-9B-GGUF 和 unsloth/gemma-4-12b-it-GGUF，许可证为 GPLv2。
来源：GitHub · 灵魂体仓库 · github.com