Reddit · r/LocalLLaMA· /u/Equivalent-Grass-527·· 12 天前精选AI 评分61
MiniCPM-V 4.7 演示 35B 多模态模型在手机上以约 3GB 内存运行
A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Equivalent-Grass-527
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5uwnd/a_35b_multimodal_model_running_on_a_phone_with/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
OpenBMB 的 MiniCPM-V 4.7 演示显示，35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行，可读现实标识、理解复杂文档并做视觉推理。关键在 LES（Lookahead Expert Scheduling），通过预测并预加载专家缓解 MoE 推理瓶颈；团队还发布了面向低资源设备的 1B 版本，以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub：https://github.com/OpenBMB/MiniCPM-V
推荐理由
帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路，适合关注多模态模型本地部署的读者。
来源：Reddit · r/LocalLLaMA · reddit.com