arXiv · cs.CL· Anna Pramod·· 10 天前AI 评分49
TinyLlama 研究揭示：以英文衡量的效率——分词器覆盖率限制小语言模型对印度文字的处理
Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts
来源与原文
arXiv · cs.CL
作者：Anna Pramod
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24818v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项覆盖十一种印度文字、13.1 万句语料的研究发现，TinyLlama-1.1B 的分词器对卡纳达语每词输出 22.60 个 subword token，词表对 Odia 代码点覆盖率为 0%，五种文字的 fertility 触及 UTF-8 byte-fallback 上限，且因 SentencePiece 静默回退，UNK 率为 0.0%。参数量仅其五分之一的 MuRIL 能以 1.23-2.26 tokens/word 读取所有文字且零 UNK。研究指出真正约束是词表而非参数量：同样 2048 token 上下文窗口，英语用户可用 1,528 词，卡纳达语用户仅 91 词。
来源：arXiv · cs.CL · arxiv.org