跳到正文
arXiv · cs.CL· Donggeun Kim·· 19 天前精选AI 评分54

MAEP 提出面向 MoE 多模态大模型的模态感知专家剪枝方法

Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models

来源与原文

arXiv · cs.CL

作者:Donggeun Kim

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.05927v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 MAEP,一种免训练的模态感知专家剪枝框架,通过 Delta-H 输出指标和低注意力视觉 token 信号按模态分解专家重要性,并在层间全局排序剪枝。在三个 MoE 多模态模型上,MAEP 在多数多模态基准上优于模态无关基线,同时文本任务保持竞争力,将 BF16 专家权重减少约 27 GB(约占总显存 47%),使约 58 GB 的 InternVL3.5-30B-A3B 与 Qwen3-VL-30B-A3B 级模型可装入单张 40 GB GPU。代码已开源,论文入选 NeurIPS 2026。

推荐理由

原文给出按模态分解专家重要性的剪枝思路和具体显存削减数字,对想本地部署 MoE 多模态模型的人有参考。

来源:arXiv · cs.CL · arxiv.org