TokEval：开源多语言 LLM 分词效率评测项目，以韩语为首个优化案例

TokEval 是一个开源研究与工程项目，用于测量、解释、可视化并降低多语言 LLM 分词低效问题，以韩语为首个优化案例、英语作为初始基线。项目包含 Explorer 分词可视化、Bench 可复现多语言评测、Train 受控 tokenizer 实验、Serve GPU 延迟与成本基准，核心原则是按成功任务衡量成本，并保留原始字节以避免 UTF-8 码点被切分。Explorer MVP 位于 dashboard/，基于 Astro 和 React island，通过 npm test 检查字节安全、npm run build 完成生产构建。