跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62

local-llm-chat 开源:自托管模型的 ChatGPT 风格统一界面

alisaadbaig/local-llm-chat

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/alisaadbaig/local-llm-chat

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

alisaadbaig 在 GitHub 发布 local-llm-chat,一个自托管模型的 ChatGPT 风格网页界面,后端为 FastAPI + SQLite,前端无构建步骤。支持把 vLLM、Ollama、llama.cpp、LM Studio、SGLang 服务器注册为后端并合并到一个模型下拉框,可同时向多个模型发消息并排对比流式输出,提供 24 个内置模板、12 条提示词库、附件与 token 预算提示,附 systemd 部署文件与 /api 接口。

推荐理由

原文完整给出了架构、配置和部署步骤,读者可以直接照着把多个 vLLM、Ollama、llama.cpp 服务器接进同一个聊天界面。

来源:GitHub · 去对齐工具与仓库 · github.com