arXiv · cs.CL· Donggeun Kim·· 19 天前精选AI 评分54
MAEP 提出面向 MoE 多模态大模型的模态感知专家剪枝方法
Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models
来源与原文
arXiv · cs.CL
作者:Donggeun Kim
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.05927v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 MAEP,一种免训练的模态感知专家剪枝框架,通过 Delta-H 输出指标和低注意力视觉 token 信号按模态分解专家重要性,并在层间全局排序剪枝。在三个 MoE 多模态模型上,MAEP 在多数多模态基准上优于模态无关基线,同时文本任务保持竞争力,将 BF16 专家权重减少约 27 GB(约占总显存 47%),使约 58 GB 的 InternVL3.5-30B-A3B 与 Qwen3-VL-30B-A3B 级模型可装入单张 40 GB GPU。代码已开源,论文入选 NeurIPS 2026。
推荐理由
原文给出按模态分解专家重要性的剪枝思路和具体显存削减数字,对想本地部署 MoE 多模态模型的人有参考。
来源:arXiv · cs.CL · arxiv.org