GitHub · 灵魂体仓库·· 21 天前精选AI 评分60
WebLLM-notebook-local:纯浏览器端本地 RAG 学习助手
pugazhexploit/WebLLM-notebook-local
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pugazhexploit/WebLLM-notebook-local
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
pugazhexploit 在 GitHub 发布 WebLLM-notebook-local(LocalTutor),实现 100% 客户端私有多文档 RAG,用 pdfjs-dist 解析 PDF、mammoth 解析 DOCX,@xenova/transformers(all-MiniLM-L6-v2)生成 384 维嵌入向量存入 IndexedDB,WebLLM 通过 WebGPU 在本地 GPU 推理,可选 SmolLM2-360M、Qwen2.5-0.5B、Llama-3.2-1B、Phi-3.5-mini 四个 q4f16_1 MLC 模型。
推荐理由
原文列出了完整的浏览器端 RAG 实现栈和模型选型,读者可以照此在本地复现一套不外传数据的私有多文档问答应用。
来源:GitHub · 灵魂体仓库 · github.com