arXiv · cs.CL· Hyunsik Kim·· 12 天前AI 评分40
先写哪个字节很重要：UTF-16 编码如何改进多语言字节级边界预测
The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction
来源与原文
arXiv · cs.CL
作者：Hyunsik Kim
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22071v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出 UBE 编码，对三字节 UTF-8 码点改用低字节在前的 UTF-16 存储，提升字节级语言模型边界预测能力。在 FLORES-200 上 13 种婆罗米系文字 17 种语言的单符号前瞻测试中，码点边界的平衡字素边界误差从 UTF-8 的 8.76% 降至 0.06%；韩语和中文相对 UTF-8 平均误差分别降低 72.91% 和 35.29%，且训练仅需 25% 和 37.5% 即可超过 UTF-8 最终误差。
来源：arXiv · cs.CL · arxiv.org