Hugging Face · 趋势模型·· 20 天前精选AI 评分67
面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版
openbmb/MiniCPM-V-4.7-35B-A3B-gguf
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B-gguf
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由
官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
来源:Hugging Face · 趋势模型 · huggingface.co