Reddit · r/LocalLLaMA· /u/K4anan·· 2 小时前精选AI 评分64
LFM3-1.7B 与 LFM3-VL-2B 在 iPhone 和 Android 上完全离线运行,并开源导出到 ExecuTorch 的方法
LFM3-1.7B and LFM3-VL-2B running fully offline on iPhone and Android, plus what it took to export LFM3 to ExecuTorch (open source app)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/K4anan
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjcipv/lfm317b_and_lfm3vl2b_running_fully_offline_on/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者将 LFM3-1.7B 和 LFM3-VL-2B 移植到自家开源应用 Private Mind,在 iPhone 和 Android 上完全离线运行,LFM3-VL-2B 能读日文拉面菜单并回答不辣和刷卡问题。iPhone 16 Pro 上 LFM3-1.7B 文本 MLX 4-bit 约 40 tok/s、首 token 低于 0.5s,VL-2B 带图首 token 约 9s、解码约 20 tok/s。
推荐理由
作者自己完成 LFM3 到 ExecuTorch 的导出,给出了与参考实现的 logits 对比和 iPhone 16 Pro 实测速度数据。
来源:Reddit · r/LocalLLaMA · reddit.com