跳到正文
Reddit · r/LocalLLaMA· /u/K4anan·· 2 小时前精选AI 评分64

LFM3-1.7B 与 LFM3-VL-2B 在 iPhone 和 Android 上完全离线运行,并开源导出到 ExecuTorch 的方法

LFM3-1.7B and LFM3-VL-2B running fully offline on iPhone and Android, plus what it took to export LFM3 to ExecuTorch (open source app)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/K4anan

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xjcipv/lfm317b_and_lfm3vl2b_running_fully_offline_on/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者将 LFM3-1.7B 和 LFM3-VL-2B 移植到自家开源应用 Private Mind,在 iPhone 和 Android 上完全离线运行,LFM3-VL-2B 能读日文拉面菜单并回答不辣和刷卡问题。iPhone 16 Pro 上 LFM3-1.7B 文本 MLX 4-bit 约 40 tok/s、首 token 低于 0.5s,VL-2B 带图首 token 约 9s、解码约 20 tok/s。

推荐理由

作者自己完成 LFM3 到 ExecuTorch 的导出,给出了与参考实现的 logits 对比和 iPhone 16 Pro 实测速度数据。

来源:Reddit · r/LocalLLaMA · reddit.com