TinyLlama 研究揭示:以英文衡量的效率——分词器覆盖率限制小语言模型对印度文字的处理
一项覆盖十一种印度文字、13.1 万句语料的研究发现,TinyLlama-1.1B 的分词器对卡纳达语每词输出 22.60 个 subword token,词表对 Odia 代码点覆盖率为 0%,五种文字的 fertility 触及 UTF-8 byte-fallback 上限,且因 SentencePiece 静默回退,UNK 率为 0.0%。参数量仅其五分之一的 MuRIL 能以 1.23-2.26 tokens/word 读取所有文字且零 UNK。研究指出真正约束是词表而非参数量:同样 2048 token 上下文窗口,英语用户可用 1,528 词,卡纳达语用户仅 91 词。