跳到正文
热点事件持续更新

论文提出MTA-OPSD:token级自适应多教师自蒸馏方法

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

arXiv 论文 2610.40574 提出 MTA-OPSD(多教师自适应 on-policy 自蒸馏),称其为首个 token 级自适应的 OPSD 方法:为每个 token 通过多数投票和 KL 选择构建候选教师池,并自适应挑选偏好教师。 在 Qwen3 模型的数学推理任务上,论文称 MTA-OPSD 持续优于现有 OPSD 方法,相对基座模型平均提升最高 +5.9,代码已开源。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv · cs.CL
    arXiv 论文提出 MTA-OPSD:每个 token 自适应选择自己的教师

    arXiv 论文 2610.40574 提出 MTA-OPSD,首个 token 级自适应的 On-policy Self-distillation 方法,为每个 token 通过多数投票和 KL 选择构建候选教师池并自适应挑选偏好教师。在 Qwen3 模型的数学推理任务上,MTA-OPSD 持续优于现有 OPSD 方法,相对基座模型平均提升最高 +5.9,代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。