LocalLLM 开源自托管 AI 平台：基于 Gemma 4 12B 的本地多模态助手栈

murai1998 在 GitHub 发布 LocalLLM，一个完全本地运行的开源 AI 助手平台，基于 Gemma 4 12B（GGUF，llama.cpp 推理），支持多模态聊天、文档 OCR、语音转文字、实时语音翻译和 LangGraph 工具调用智能体。项目采用单一 FastAPI 网关暴露 OpenAI 兼容 API，支持 CUDA 与 Apple Silicon GPU 加速，48 GB Apple Silicon Mac 可换用 Gemma 4 31B 或 Qwen3.8-27B 预设（M5 Pro 上约 13–15 tok/s）；唯一非本地功能是可选的 Gemini 3.5 Live Translate 对比引擎，需自备 API key。