论文提出SERF自监督框架改进扩散语言模型训练
热点事件持续更新
论文提出SERF自监督框架改进扩散语言模型训练
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Theodoros Kouzelis 在 arXiv 提交论文，提出 SERF（Self-Regularized Flow Language Models），一个用于改进连续扩散语言模型的自监督框架。其核心做法是利用去噪轨迹本身做 noisy-to-clean 自蒸馏，由 EMA 教师沿同一插值路径提供额外监督，无需外部预训练模型，也不修改推理过程。 论文实验覆盖 one-hot FLM、latent ELF 和 hyper-spherical S-FLM 三种范式，报告的结果包括：在 OpenWebText 上训练加速最高 7.7 倍，MAUVE 提升 24.3%，GSM8K 准确率最高提升 28.8%，采样步数最多减少 64 倍仍可达到基线性能。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 20:12
SERF：自正则化流语言模型报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · cs.CLSERF：自正则化流语言模型
SERF（Self-Regularized Flow Language Models）提出一种自监督框架，通过 noisy-to-clean 自蒸馏改进连续扩散语言模型，由 EMA 教师沿同一插值路径提供额外监督，无需外部预训练模型或修改推理过程。实验涵盖 one-hot FLM、latent ELF 和 hyper-spherical S-FLM 三种范式：在 OpenWebText 上训练加速最高 7.7x，MAUVE 提升 24.3%，GSM8K 准确率最高提升 28.8%，采样步数最多减少 64x 仍可达到基线性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。