arXiv · cs.CL· Vinko Sabolčec·· 19 天前AI 评分28
将英语质量分类器适配至多语言 LLM 预训练数据选择
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
来源与原文
arXiv · cs.CL
作者：Vinko Sabolčec
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11585v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出把现有英语质量分类器改造为多语言版本的方法，用于超过 100 种语言的 LLM 预训练数据筛选。方法是在 Transformer encoder-only 模型嵌入上训练小型 MLP，以机器翻译文本的英语分类器评分作为标签。1B、3B 和 8B 规模实验显示其效果与现有多语言模型过滤基线相当，且不损害区域与文化知识 benchmark，分类器还能泛化到训练数据未覆盖的语言。
来源：arXiv · cs.CL · arxiv.org