arXiv · cs.CL· Felermino D. M. A. Ali·· 19 天前AI 评分34
Latent Core Tokenizer (LCT)：有意义的分词器压缩
Latent Core Tokenizer: Compress, but Meaningfully
来源与原文
arXiv · cs.CL
作者：Felermino D. M. A. Ali
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12376v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Latent Core Tokenizer（LCT），一种语言无关的分词方法，用 Minimum Description Length、熵边界信号和形态约束在构建共享词表前识别可复用语言单元。在覆盖 104 种语言、200K token 词表的设置下，LCT 的 fertility 低于 BPE、Unigram 和 parity-aware BPE，MorphScore 更高，并在四个多语言下游基准上分别取得 1.48、1.83、2.00 分的聚合提升。结果表明仅靠压缩无法预测表示质量。
来源：arXiv · cs.CL · arxiv.org