arXiv · cs.CL· Ilker Kesen·· 6 天前AI 评分35
MPIXEL 像素语言模型的多语言预训练扩展研究
Scaling Multilingual Pretraining of Pixel Language Models
来源与原文
arXiv · cs.CL
作者：Ilker Kesen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29681v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 MPIXEL 像素语言模型系列，沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练，在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应：各轴仅提升新增语言与文字，更大容量可缓解多语言诅咒；对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。
来源：arXiv · cs.CL · arxiv.org