arXiv · cs.AI· Jungwoo Park·· 16 天前AI 评分43
UltraBERT：突破 BERT 预训练极限
UltraBERT: Beyond the Limit of BERT Pre-Training
来源与原文
arXiv · cs.AI
作者：Jungwoo Park
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.15028v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 UltraBERT，一种在分类与检索任务上均达 SOTA 的双向编码器，GLUE 达 91.0、BEIR 达 47.7。模型为批内低、高掩码率分别设置独立 LM head，并将蒸馏目标限制在低掩码率。研究还发现编码器在数万亿 token 后性能饱和，低掩码率利于分类、高掩码率利于检索。
来源：arXiv · cs.AI · arxiv.org