arXiv · cs.AI· Hejian Sang·· 19 天前AI 评分46
Δ-MOPD：基于教师相对偏移的多教师 on-policy 知识蒸馏方法
Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts
来源与原文
arXiv · cs.AI
作者：Hejian Sang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10460v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出 Δ-MOPD，在多教师 on-policy 蒸馏中不再迁移教师的端点策略，而是迁移教师相对其基座模型的 logit 偏移，并将其重新锚定在学生的冻结初始状态上。三个教师组合时，Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数；phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。
来源：arXiv · cs.AI · arxiv.org