跳到正文
GitHub · 灵魂体仓库·· 21 天前精选AI 评分60

WebLLM-notebook-local:纯浏览器端本地 RAG 学习助手

pugazhexploit/WebLLM-notebook-local

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/pugazhexploit/WebLLM-notebook-local

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

pugazhexploit 在 GitHub 发布 WebLLM-notebook-local(LocalTutor),实现 100% 客户端私有多文档 RAG,用 pdfjs-dist 解析 PDF、mammoth 解析 DOCX,@xenova/transformers(all-MiniLM-L6-v2)生成 384 维嵌入向量存入 IndexedDB,WebLLM 通过 WebGPU 在本地 GPU 推理,可选 SmolLM2-360M、Qwen2.5-0.5B、Llama-3.2-1B、Phi-3.5-mini 四个 q4f16_1 MLC 模型。

推荐理由

原文列出了完整的浏览器端 RAG 实现栈和模型选型,读者可以照此在本地复现一套不外传数据的私有多文档问答应用。

来源:GitHub · 灵魂体仓库 · github.com