跳到正文
Reddit · r/LocalLLaMA· /u/Equivalent-Grass-527·· 14 天前AI 评分57

MiniCPM-V 4.7 35B-A3B 发布,宣称在 iPhone 17 Pro Max 上可跑 13+ tok/s

openbmb/MiniCPM-V-4.7-35B-A3B · Hugging Face

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Equivalent-Grass-527

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x491tl/openbmbminicpmv4735ba3b_hugging_face/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

openbmb 在 Hugging Face 上线 MiniCPM-V 4.7 35B-A3B,帖子称其在 iPad Pro M4(16GB)上跑 17+ tok/s、iPhone 17 Pro Max 上 13+ tok/s、内存占用约 3GB。新引入的 LES(Lookahead Expert Scheduling)通过预测并预加载 MoE 专家减少推理停顿,宣称在输出一致的前提下最高提速 5 倍。其他要点包括 34 项多模态基准、OCRBench 90.4 分配合 16 倍视觉压缩、新的 1B 轻量 VLM、Self-Replay Fine-Tuning 低成本定制,以及支持 Apple、Intel、AMD、Arm、Rockchip 平台。

来源:Reddit · r/LocalLLaMA · reddit.com