GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分66
local-llm-gateway：把本机 Ollama 模型封装为本地 API 和 ChatGPT 风格聊天界面
Dagiayy/local-llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Dagiayy/local-llm-gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布了 local-llm-gateway 仓库，用 Docker 把本机已下载的 qwen2.5:7b-instruct-q4_K_M 和 qwen2.5-coder:14b 两个 Ollama 模型暴露为 OpenAI 兼容 API（http://localhost:11434/v1）和聊天 UI，聊天历史存于 Postgres。两个模型合计约需 21GB VRAM，16GB 显卡只能一次加载一个，切换需约 60-90 秒；默认开启 OLLAMA_FLASH_ATTENTION=1 和 OLLAMA_KEEP_ALIVE=-1 以避免停顿 5 分钟后的重复加载。
推荐理由
作者把本机已有的 Ollama 模型封装成 Docker 化本地 API 和聊天界面，并写清了模型切换和慢响应的真实原因。
来源：GitHub · 去对齐工具与仓库 · github.com