论文提出MTA-OPSD:token级自适应多教师自蒸馏方法
热点事件持续更新
论文提出MTA-OPSD:token级自适应多教师自蒸馏方法
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
arXiv 论文 2610.40574 提出 MTA-OPSD(多教师自适应 on-policy 自蒸馏),称其为首个 token 级自适应的 OPSD 方法:为每个 token 通过多数投票和 KL 选择构建候选教师池,并自适应挑选偏好教师。 在 Qwen3 模型的数学推理任务上,论文称 MTA-OPSD 持续优于现有 OPSD 方法,相对基座模型平均提升最高 +5.9,代码已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 01:44
arXiv 论文提出 MTA-OPSD:每个 token 自适应选择自己的教师报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- arXiv · cs.CLarXiv 论文提出 MTA-OPSD:每个 token 自适应选择自己的教师
arXiv 论文 2610.40574 提出 MTA-OPSD,首个 token 级自适应的 On-policy Self-distillation 方法,为每个 token 通过多数投票和 KL 选择构建候选教师池并自适应挑选偏好教师。在 Qwen3 模型的数学推理任务上,MTA-OPSD 持续优于现有 OPSD 方法,相对基座模型平均提升最高 +5.9,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。