arXiv · cs.CL· Edoardo Vaira·· 21 小时前AI 评分33
不同语料库，不同技能？小型语言模型的配对研究
Different Corpora, Different Skills? A Paired Study of Small Language Models
来源与原文
arXiv · cs.CL
作者：Edoardo Vaira
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07812v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究在 1000 万和 3700 万词预算下对比 1911 年版《大英百科全书》与 BabyLM 2026 严格预训练语料，训练教师模型、蒸馏的 58M 参数 Baby-Llama 学生模型及无蒸馏消融模型。在 BLiMP、BLiMP Supplement、EWoK、Entity Tracking 和 COMPS 上，两种语料产生不同的技能画像而非单一质量排名：BabyLM 2026 在语言可接受性基准上更强，Britannica 在 Entity Tracking 上更强，该差异在教师与学生模型及两种预算下均出现。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。