arXiv · cs.CL· Theodoros Kouzelis·· 17 小时前AI 评分41
SERF：自正则化流语言模型
Self-Regularized Flow Language Models
来源与原文
arXiv · cs.CL
作者：Theodoros Kouzelis
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37115v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
SERF（Self-Regularized Flow Language Models）提出一种自监督框架，通过 noisy-to-clean 自蒸馏改进连续扩散语言模型，由 EMA 教师沿同一插值路径提供额外监督，无需外部预训练模型或修改推理过程。实验涵盖 one-hot FLM、latent ELF 和 hyper-spherical S-FLM 三种范式：在 OpenWebText 上训练加速最高 7.7x，MAUVE 提升 24.3%，GSM8K 准确率最高提升 28.8%，采样步数最多减少 64x 仍可达到基线性能。
来源：arXiv · cs.CL · arxiv.org