arXiv · cs.CL· Julio C. Amador Diaz Lopez·· 8 天前AI 评分26
BERT 本身已是去噪器：无需扩散训练即可廉价解锁掩码语言模型的迭代生成
BERT Is Already a Denoiser: Cheaply Unlocking Iterative Generation in Masked Language Models
来源与原文
arXiv · cs.CL
作者：Julio C. Amador Diaz Lopez
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26601v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究表明，BERT 等掩码语言模型（MLM）经去噪预训练后，无需扩散训练即可实现条件生成：冻结 BERT 在 15%/45%/60% 掩码下可分别重构 61.0%/37.5%/24.4% 的 token，但在 ARC-Easy 上仅达 11.0%、MMLU 上仅 4.2%；经普通 MLM 微调后分别提升至 28.2% 和 24.6%，RoBERTa-large 更达 44.2% 和 33.8%。结论是显式扩散训练并非获得有效迭代条件生成的必要条件。
来源：arXiv · cs.CL · arxiv.org