arXiv · cs.AI· Shuaishuai Zu·· 2 天前AI 评分24
O$^2$PD：基于可靠前缀的重叠门控在线策略蒸馏
O$^2$PD: Overlap-Gated On-Policy Distillation on Reliable Prefix
来源与原文
arXiv · cs.AI
作者：Shuaishuai Zu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07731v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Overlap-gated On-Policy Distillation（O$^2$PD），仅对学生 rollout 的 20% 前缀 token 做对齐，因为定量分析显示前缀上的教师监督比全上下文更可靠。该方法针对 top-$k$ OPD 的 Teacher-support Uncovering 与 Dominant-Mode Mismatch 两个问题，设计了 Reset Support 与 Support Convergence 两种支撑策略，并用重叠门控的 $\alpha$-divergence 在 mode-covering 与 mode-seeking 间插值、按重叠自适应调节 $\alpha$。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。