arXiv · cs.AI· Yue He·· 18 小时前精选AI 评分56
Turing LLM 后训练论文：校准蒸馏与高效动态 MoE 执行
Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
来源与原文
arXiv · cs.AI
作者：Yue He
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39876v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 arXiv:2610.39876 提出面向动态路由 MoE 模型的后训练方法，结合校准多教师 on-policy 蒸馏 C-MOPD 与含 post-capacity bounded-width dispatch、final-route replay 和异步 rollout-training overlap 的执行路径。Turing-20B-A2B 四域归一化整合得分 0.9988，每个领域保留至少 90.16% 的专家增益；8K 响应上限下四项数学与代码基准均值 85.92，高于 Qwen3-8B 的 80.33 和 SFT 的 74.21；组合执行配置将整合步时间从 398.7 秒降至 139.3 秒，观测到 2.86 倍加速。
推荐理由
论文给出了校准蒸馏与动态 MoE 执行的完整消融对比，可了解专家模型整合与训练加速的具体做法。
来源：arXiv · cs.AI · arxiv.org