两种语料训练小模型技能差异研究

1. 18:50
   arXiv · cs.CL

   不同语料库，不同技能？小型语言模型的配对研究

   研究在 1000 万和 3700 万词预算下对比 1911 年版《大英百科全书》与 BabyLM 2026 严格预训练语料，训练教师模型、蒸馏的 58M 参数 Baby-Llama 学生模型及无蒸馏消融模型。在 BLiMP、BLiMP Supplement、EWoK、Entity Tracking 和 COMPS 上，两种语料产生不同的技能画像而非单一质量排名：BabyLM 2026 在语言可接受性基准上更强，Britannica 在 Entity Tracking 上更强，该差异在教师与学生模型及两种预算下均出现。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。