GitHub · 去对齐工具与仓库·· 13 小时前AI 评分27
llmaCPP：基于 Docker 的本地大模型推理与图像生成管理中心
navynui/llmaCPP
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/navynui/llmaCPP
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llmaCPP 是一套基于 Docker 的本地 LLM 管理栈，由两个 llama.cpp 推理服务（Tesla P100 上的 llama-server 和 GTX 1060 上的 llama-server-mini）、Web 控制面板 llm-mobile 和图像生成容器 comfyUI 组成。系统基于 TheTom fork，支持 TurboQuant KV cache、MTP 投机解码、router mode、按 preset 将 27B 系列大模型拆分到双 GPU，并提供双卡遥测、基准测试与批量生图功能。
来源：GitHub · 去对齐工具与仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。