英语校准剪枝损害立陶宛语能力

1. 16:39
   arXiv · cs.CL

   英语校准侵蚀立陶宛语能力：专家剪枝 MoE 语言模型的多语言评测

   研究用 REAP 对四个 MoE 模型做专家剪枝，移除 25% 或 50% 专家后发现英语校准无法迁移到立陶宛语：25% 剪枝下英语阅读理解中位数仅降 1.7 分，立陶宛语却降 21.4 分。改用立陶宛语校准可消除大部分立陶宛语损失，英语理解平均还比英语校准高 2.5 分，仅英语语言建模略变差。路由分析显示最后几层中立陶宛语有 55-72% 的专家选择集中在八个专家上（英语为 19-39%），英语校准会移除其中部分专家。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。