Reddit · r/LocalLLaMA· /u/Equivalent-Grass-527·· 14 天前AI 评分57
MiniCPM-V 4.7 35B-A3B 发布,宣称在 iPhone 17 Pro Max 上可跑 13+ tok/s
openbmb/MiniCPM-V-4.7-35B-A3B · Hugging Face
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Equivalent-Grass-527
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x491tl/openbmbminicpmv4735ba3b_hugging_face/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
openbmb 在 Hugging Face 上线 MiniCPM-V 4.7 35B-A3B,帖子称其在 iPad Pro M4(16GB)上跑 17+ tok/s、iPhone 17 Pro Max 上 13+ tok/s、内存占用约 3GB。新引入的 LES(Lookahead Expert Scheduling)通过预测并预加载 MoE 专家减少推理停顿,宣称在输出一致的前提下最高提速 5 倍。其他要点包括 34 项多模态基准、OCRBench 90.4 分配合 16 倍视觉压缩、新的 1B 轻量 VLM、Self-Replay Fine-Tuning 低成本定制,以及支持 Apple、Intel、AMD、Arm、Rockchip 平台。
来源:Reddit · r/LocalLLaMA · reddit.com