Hugging Face Blog·· 13 天前精选AI 评分62
AWS 团队提出 HOPE:二阶 MoE 专家剪枝方法,50% 剪枝率下优于 REAP
Your Experts Have Partners. There's HOPE for Keeping Them Together
来源与原文
Hugging Face Blog
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/amazon/higher-order-pruning-experts
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AWS 团队在 Hugging Face Blog 发布 HOPE(Higher-Order Pruning of Experts),一种考虑专家间成对交互的二阶 MoE 剪枝方法,对应论文 arXiv:2609.18916。在 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 上测试,HOPE 在 50% 剪枝率下平均排名 1.58,优于次优的 REAP(2.42);Qwen3.5-35B-A3B 剪枝 50% 后 SWE-Bench Pro 得分 42.3,与未剪枝模型的 41.8 持平。
推荐理由
原文解释了二阶剪枝为何比逐专家独立打分更能保留协作结构,并给出 50% 剪枝率下与 REAP 的对照数据,方法可直接复现。
来源:Hugging Face Blog · huggingface.co