热点事件观察中

WISD自蒸馏框架：削弱模型作教师提升数学代码推理

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Yecheng Wu 等作者在 arXiv 论文（2610.38681）中提出 WISD（Weakening-Induced On-Policy Self-Distillation）自蒸馏方法：通过低比特量化或幅度剪枝构造原始模型的较弱版本，以两者对比作为训练信号，无需特权信息即可完成自蒸馏。论文标注为 Work in progress，代码已开源。论文报告的实验结果为：在数学与代码推理任务上，量化与剪枝分别将平均准确率较原模型提升 4.0 和 5.5 个百分点；其中剪枝使 Qwen3.5-4B 在 HMMT 2025 上从 57.7% 升至 70.5%，在 LiveCodeBench v6 上从 39.1% 升至 56.7%。这些为论文自述结果。

AI 根据报道生成 · 1 小时前更新

最新进展10月29日 02:55

WISD：削弱模型构造弱自教师的大推理模型自蒸馏方法

报道时间线

沿着报道，了解事件的不同侧面。

10月29日

02:55
arXiv · cs.CL
WISD：削弱模型构造弱自教师的大推理模型自蒸馏方法
研究提出 WISD（Weakening-Induced On-Policy Self-Distillation），通过低比特量化或幅度剪枝构造原始模型的较弱版本，利用两者对比作为训练信号，无需特权信息即可完成自蒸馏。在数学与代码推理任务上，量化与剪枝分别将平均准确率提升 4.0 和 5.5 个百分点；剪枝使 Qwen3.5-4B 在 HMMT 2025 上从 57.7% 升至 70.5%，在 LiveCodeBench v6 上从 39.1% 升至 56.7%。代码已开源。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。