Private Mind 开源应用在手机上为 1.7B 本地模型实现无后端联网搜索
/u/K4anan 团队为开源本地 LLM 应用 Private Mind 上线联网搜索功能,iOS 和 Android 上的 Qwen 3 1.7B 无网络时把 Apple 九月发布会答错,开启后能答对并引用 5 个页面。实现不用搜索 API 和后端:隐藏 WebView 访问 DuckDuckGo(Brave 和 Mojeek 备用)解析结果,把顶部网页切成约 500 字符块,由端上嵌入模型 LFM2.5(约 415MB)加关键词匹配选出最多 6 块(单页最多 3 块),两个站点一致的说法权重高于单一来源,模型基于这些块作答并附全部来源链接。搜索按会话开关、默认关闭,手机像浏览器一样发请求,对话留在本机,LLM 和嵌入都跑在 react-native-executorch 上。
推荐理由:核心难点不在模型而在选段,用嵌入加多站点一致性从网页里挑几百字喂给 1.7B 模型,做法可直接借鉴。