GitHub · 灵魂体仓库·· 5 天前AI 评分22
Thinkube 的 llama-cpp 组件：LLM Gateway 背后的 llama.cpp 推理服务器
thinkube/tkt-llama-cpp
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/thinkube/tkt-llama-cpp
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Thinkube 的 llama-cpp 可选组件提供 LLM Gateway 背后的 llama.cpp 推理服务器，支持 1-bit 到 16-bit 量化的 GGUF 模型，容器在 8000 端口运行 llama-server，提供 OpenAI API（chat completions、completions、embeddings 等）。模型由 MLflow 管理，首次启动将 GGUF 文件复制到节点本地磁盘。镜像基于 llama.cpp release b11476 和 CUDA 13.0 构建，组件与模板均为 MIT 许可。
来源：GitHub · 灵魂体仓库 · github.com