GitHub · 去对齐工具与仓库·· 20 天前AI 评分57
llm77 开源:基于 Node.js 与 Ollama 的本地 LLM 异步后端架构
meirakrish/llm77
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/meirakrish/llm77
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
meirakrish 在 GitHub 发布 llm77,一个用 Node.js、TypeScript 和 Express 搭建的生产级本地 LLM 后端架构,通过 Redis(BullMQ)队列把 HTTP 接入与 AI 处理解耦,worker 以并发 1 保护本地 GPU。支持 LanceDB 本地 RAG 知识库、SSE 流式输出、Zod 结构化输出、可选 Claude API 接入,并按镜像拆分提供 docker-compose 一键部署,含前端 Svelte 5 界面与用量统计。
来源:GitHub · 去对齐工具与仓库 · github.com