跳到正文
arXiv · cs.AI· Steven Y. Feng·· 22 小时前AI 评分29

儿童规模语言模型中的特化、多样性与扩展研究

Specialization, Diversity, and Scaling in Child-Scale Language Models

来源与原文

arXiv · cs.AI

作者:Steven Y. Feng

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.36679v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项 arXiv 研究在儿童家庭语音实录(BabyView)和合成儿童对话(TinyDialogues)上训练小型 GPT-2 模型,发现单一儿童数据训练的模型对该儿童语言环境的预测显著优于其他儿童,5-gram 模型即可复现这种跨儿童模式(r=.91)。多儿童数据训练在预测汇总留出语言上优于单儿童训练,但在语法 benchmark 上未见同样清晰的提升,且自然与合成训练输入产生不同的语法和词汇语义模式。

来源:arXiv · cs.AI · arxiv.org