arXiv · cs.CL· Yunkai Chai·· 19 天前AI 评分42
Elastic Expert Routing：平滑稀疏 MoE 的 top-k 路由边界
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
来源与原文
arXiv · cs.CL
作者：Yunkai Chai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11575v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 Elastic Expert Routing，通过在以 k 为中心的局部离散分布中随机采样激活专家数，将静态 top-k 路由的硬阈值软化为渐进概率分布，并保持推理算力预算不变。在监督微调中，该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分；从头预训练时平均比静态 top-k 基线高 1.6 分。
来源：arXiv · cs.CL · arxiv.org