arXiv · cs.CL· Liu Kaiyuan·· 7 天前AI 评分40
多教师 On-Policy 知识蒸馏的 Fisher 几何视角
A Fisher-Geometric View of Multi-Teacher On-Policy Distillation
来源与原文
arXiv · cs.CL
作者：Liu Kaiyuan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26525v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
来源：arXiv · cs.CL · arxiv.org